2022 Fiscal Year Annual Research Report
Research on framework for automatic estimation of users' subjective evaluations in multimodal dialogues
Publicly Offered Research
| Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
|---|
| Project/Area Number |
22H04860
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
岡田 将吾 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | マルチモーダル対話システム / 対話評価 / 社会的信号処理 / マルチモーダル機械学習 |
|---|
| Outline of Annual Research Achievements |
近年サービス化が進む知的対話システムにおいて，システムの生成した対話に対するユーザ評価 （例：「盛り上がった」，「つまらない」）を取得することは，システム開発・改善のために重要な工程である．ユーザへのアンケート調査は有効な手段であるが，対話毎にアンケート調査を行うのはユーザ・システム開発者の双方にとってコストが高い．本研究は，対話を通じて醸成されるユーザのシステムに対する主観評価（例：対話に対する満足度）を，対話中のユーザの発した言語・非言語情報（マルチモーダル(MM) 情報）から推定する方法を確立することを目的とする．
今年度はHazumiデータコーパスを利用し，対話全体に対してアノテーションされた評価値を，観測されるMM時系列データから精緻に予測するモデルを研究した．この予測タスクでは，対話セッション数分のラベルデータしか利用できず，必然的に少量データからの機械学習が必要となる．また入力は対話中に観測されるユーザのマルチモーダル特徴量の時系列データであり，このマルチモーダル特徴の変化を捉えることも重要となる．この課題に対処するために，対話中に変化する発話交換毎の心象アノテーションデータを利用することで，マルチモーダル特徴の変化と，心象変化の関係を捉えることで，対話レベルのラベルを精緻に推定する手法を提案・評価し，有効性を検証した．ユーザ評価値の高/低の2値をF値0.79で推定できることを示した．ユーザを観察した人間により推定した精度は0.72であり，MM情報に基づく自動推定手法の有効性を確かめた．その他，関連する研究成果として，話者識別特徴量を用いた個人性格特性の推定手法を提案した．また複数のコーパスより内面状態推定のための共通のパラメータを学習する方法を提案した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
対話を通じて醸成されるユーザのシステムに対する主観評価の推定手法に有効な方法を探求し，基盤となる推定手法の構築方法を提案・モデルの構築・評価を行った．初年度の目的であった，研究協力者と共にマルチモーダル対話データの整備を行い，主観評価モデル構築・評価までの計画を予定通り実施した．本研究の成果に関して，査読付き国際会議論文３件，査読付き国際論文誌2件が採択された．マルチモーダル対話システム研究の推進を促すため，研究協力者と共にマルチモーダル対話データの整備・公開作業を行った．以上より，研究は「おおむね順調に進展している」と判断する．
|
| Strategy for Future Research Activity |
汎用的な対話ユーザ評価モデルの確立に向けた課題は，ユーザ個人差への対処と異なる対話設定に頑健なモデルへの拡張である．まず前者の課題に向けて，ユーザの個人差の影響を分析し，個人差による推定精度低下の問題を緩和する方法を確立する．ユーザから観測されるマルチモーダル（MM）データ，ユーザが付与した主観評価間は個人差を含み，この要因により特定のユーザの推定精度が低下する．精度低下を緩和する方法を明らかにする．ユーザの属性（ジェンダー，年齢）に加え，性格特性（BigFive）と，ユーザの評定の推定精度の関係を統計分析・検定を通じて，精度低下の原因を明らかにする．
次に，ジェンダー，年齢，性格特性等のユーザ属性を，モデルに組み込み，推定精度低下の問題を緩和する方法を明らかにする．後者の課題に対して，異なる対話設定（例えば，オンライン・対面），異なる対話システムでも，訓練された主観評価推定モデルが動作する必要がある．複数のコーパス間/個人間/MMデータ間の，差異や共通点に着目し，推定対象の知識を補強・抽出するMM転移学習手法を確立する．
|
