Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
対話ロボット・システムの開発において対話の評価は重要である．対話したユーザによる主観評価は現在も有効な方法の一つであるが，サービス利用等の現場において対話毎に，ユーザからの評価を取得できるとは限らない． 本研究では，対話中のユーザの発話内容，音声，表情といったマルチモーダルな情報から，ユーザのシステムに対する主観評価値（例えば，対話に対する満足度）を推定し，システムがユーザの評価を自動獲得する手法を研究する．対話中に得られるマルチモーダルデータとユーザの主観評価との間の関係を精緻に写像するモデルを探求し，実装・評価する．またユーザの個人差・対話環境の違いといった要因に頑健な推定手法を提案する．
近年サービス化が進む知的対話システムにおいて，システムの生成した対話に対するユーザ評価 （例：「盛り上がった」，「つまらない」）を取得することは，システム開発・改善のために重要な工程である．ユーザへのアンケート調査は有効な手段であるが，対話毎にアンケート調査を行うのはユーザ・システム開発者の双方にとってコストが高い．本研究は，対話を通じて醸成されるユーザのシステムに対する主観評価（例：対話に対する満足度）を，対話中のユーザの発した言語・非言語情報（マルチモーダル(MM) 情報）から推定する方法を確立することを目的とする．今年度はHazumiデータコーパスを利用し，対話全体に対してアノテーションされた評価値を，観測されるMM時系列データから精緻に予測するモデルを研究した．この予測タスクでは，対話セッション数分のラベルデータしか利用できず，必然的に少量データからの機械学習が必要となる．また入力は対話中に観測されるユーザのマルチモーダル特徴量の時系列データであり，このマルチモーダル特徴の変化を捉えることも重要となる．この課題に対処するために，対話中に変化する発話交換毎の心象アノテーションデータを利用することで，マルチモーダル特徴の変化と，心象変化の関係を捉えることで，対話レベルのラベルを精緻に推定する手法を提案・評価し，有効性を検証した．ユーザ評価値の高/低の2値をF値0.79で推定できることを示した．ユーザを観察した人間により推定した精度は0.72であり，MM情報に基づく自動推定手法の有効性を確かめた．その他，関連する研究成果として，話者識別特徴量を用いた個人性格特性の推定手法を提案した．また複数のコーパスより内面状態推定のための共通のパラメータを学習する方法を提案した．
2: Research has progressed on the whole more than it was originally planned.
対話を通じて醸成されるユーザのシステムに対する主観評価の推定手法に有効な方法を探求し，基盤となる推定手法の構築方法を提案・モデルの構築・評価を行った．初年度の目的であった，研究協力者と共にマルチモーダル対話データの整備を行い，主観評価モデル構築・評価までの計画を予定通り実施した．本研究の成果に関して，査読付き国際会議論文３件，査読付き国際論文誌2件が採択された．マルチモーダル対話システム研究の推進を促すため，研究協力者と共にマルチモーダル対話データの整備・公開作業を行った．以上より，研究は「おおむね順調に進展している」と判断する．
汎用的な対話ユーザ評価モデルの確立に向けた課題は，ユーザ個人差への対処と異なる対話設定に頑健なモデルへの拡張である．まず前者の課題に向けて，ユーザの個人差の影響を分析し，個人差による推定精度低下の問題を緩和する方法を確立する．ユーザから観測されるマルチモーダル（MM）データ，ユーザが付与した主観評価間は個人差を含み，この要因により特定のユーザの推定精度が低下する．精度低下を緩和する方法を明らかにする．ユーザの属性（ジェンダー，年齢）に加え，性格特性（BigFive）と，ユーザの評定の推定精度の関係を統計分析・検定を通じて，精度低下の原因を明らかにする．次に，ジェンダー，年齢，性格特性等のユーザ属性を，モデルに組み込み，推定精度低下の問題を緩和する方法を明らかにする．後者の課題に対して，異なる対話設定（例えば，オンライン・対面），異なる対話システムでも，訓練された主観評価推定モデルが動作する必要がある．複数のコーパス間/個人間/MMデータ間の，差異や共通点に着目し，推定対象の知識を補強・抽出するMM転移学習手法を確立する．
All 2022 Other
All Journal Article (12 results) (of which Int'l Joint Research: 5 results, Peer Reviewed: 12 results, Open Access: 3 results) Presentation (14 results) (of which Int'l Joint Research: 8 results, Invited: 1 results) Remarks (1 results)
IEICE Transactions on Information and Systems
Volume: E105.D Issue: 11 Pages: 1947-1956
10.1587/transinf.2022EDP7026
IEEE MultiMedia
Volume: 29 Issue: 3 Pages: 91-100
10.1109/mmul.2022.3173430
IEEE Transactions on Affective Computing
Volume: - Issue: 3 Pages: 1-1
10.1109/taffc.2022.3155604
Multimedia Tools and Applications
Volume: - Issue: 21 Pages: 30219-30241
10.1007/s11042-022-12711-8
In proceedings of the 21st International Conference on Mobile and Ubiquitous Multimedia
Volume: - Pages: 110-120
10.1145/3568444.3568461
In proceedings of the 2022 International Conference on Multimodal Interaction
Volume: - Pages: 359-367
10.1145/3536221.3556602
International Conference on Multimodal Interaction
Volume: - Pages: 349-358
10.1145/3536221.3556576
In proceedings of 2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
Volume: - Pages: 1077-1085
10.23919/apsipaasc55919.2022.9980000
Volume: - Pages: 196-203
10.23919/apsipaasc55919.2022.9979993
Volume: - Pages: 39-46
10.23919/apsipaasc55919.2022.9980032
In proceedings of 2nd Symposium on Security and Privacy in Speech Communication
Volume: -
In proceedings of 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
Volume: - Pages: 6427-6431
10.1109/icassp43922.2022.9747129
https://www.jaist.ac.jp/~okada-s/
