| 研究領域 | 人間機械共生社会を目指した対話知能システム学 |
|---|
| 研究課題/領域番号 |
22H04860
|
|---|
| 研究種目 |
新学術領域研究(研究領域提案型)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
複合領域
|
|---|
| 研究機関 | 北陸先端科学技術大学院大学 |
|---|
研究代表者 |
岡田 将吾 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
9,880千円 (直接経費: 7,600千円、間接経費: 2,280千円)
2023年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
2022年度: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
|
|---|
| キーワード | マルチモーダル情報処理 / 社会的信号処理 / 音声対話システム / マルチモーダル対話システム / 対話評価 / マルチモーダル機械学習 / 対話システム評価 |
|---|
| 研究開始時の研究の概要 |
対話ロボット・システムの開発において対話の評価は重要である．
対話したユーザによる主観評価は現在も有効な方法の一つであるが，サービス利用等の現場において対話毎に，ユーザからの評価を取得できるとは限らない． 本研究では，対話中のユーザの発話内容，音声，表情といったマルチモーダルな情報から，ユーザのシステムに対する主観評価値（例えば，対話に対する満足度）を推定し，システムがユーザの評価を自動獲得する手法を研究する．
対話中に得られるマルチモーダルデータとユーザの主観評価との間の関係を精緻に写像するモデルを探求し，実装・評価する．またユーザの個人差・対話環境の違いといった要因に頑健な推定手法を提案する．
|
| 研究実績の概要 |
近年サービス化が進む知的対話システムにおいて，システムの生成した対話に対するユーザ評価 （例：「盛り上がった」，「つまらない」）を取得することは，システム開発・改善のために重要な工程である．ユーザへのアンケート調査は有効な手段であるが，対話毎にアンケート調査を行うのはユーザ・システム開発者の双方にとってコストが高い．本研究は，対話を通じて醸成されるユーザのシステムに対する主観評価（例：対話に対する満足度）を，対話中のユーザの発した言語・非言語情報（マルチモーダル(MM) 情報）から推定する方法を確立することを目的とする．
今年度はHazumiデータコーパスを利用し，対話全体に対してアノテーションされた評価値を，観測されるMM時系列データから精緻に予測するモデルを研究した．この予測タスクでは，対話セッション数分のラベルデータしか利用できず，必然的に少量データからの機械学習が必要となる．また入力は対話中に観測されるユーザのマルチモーダル特徴量の時系列データであり，このマルチモーダル特徴の変化を捉えることも重要となる．この課題に対処するために，対話中に変化する発話交換毎の心象アノテーションデータを利用することで，マルチモーダル特徴の変化と，心象変化の関係を捉えることで，対話レベルのラベルを精緻に推定する手法を提案・評価し，有効性を検証した．ユーザ評価値の高/低の2値をF値0.79で推定できることを示した．ユーザを観察した人間により推定した精度は0.72であり，MM情報に基づく自動推定手法の有効性を確かめた．その他，関連する研究成果として，話者識別特徴量を用いた個人性格特性の推定手法を提案した．また複数のコーパスより内面状態推定のための共通のパラメータを学習する方法を提案した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
対話を通じて醸成されるユーザのシステムに対する主観評価の推定手法に有効な方法を探求し，基盤となる推定手法の構築方法を提案・モデルの構築・評価を行った．初年度の目的であった，研究協力者と共にマルチモーダル対話データの整備を行い，主観評価モデル構築・評価までの計画を予定通り実施した．本研究の成果に関して，査読付き国際会議論文３件，査読付き国際論文誌2件が採択された．マルチモーダル対話システム研究の推進を促すため，研究協力者と共にマルチモーダル対話データの整備・公開作業を行った．以上より，研究は「おおむね順調に進展している」と判断する．
|
| 今後の研究の推進方策 |
汎用的な対話ユーザ評価モデルの確立に向けた課題は，ユーザ個人差への対処と異なる対話設定に頑健なモデルへの拡張である．まず前者の課題に向けて，ユーザの個人差の影響を分析し，個人差による推定精度低下の問題を緩和する方法を確立する．ユーザから観測されるマルチモーダル（MM）データ，ユーザが付与した主観評価間は個人差を含み，この要因により特定のユーザの推定精度が低下する．精度低下を緩和する方法を明らかにする．ユーザの属性（ジェンダー，年齢）に加え，性格特性（BigFive）と，ユーザの評定の推定精度の関係を統計分析・検定を通じて，精度低下の原因を明らかにする．
次に，ジェンダー，年齢，性格特性等のユーザ属性を，モデルに組み込み，推定精度低下の問題を緩和する方法を明らかにする．後者の課題に対して，異なる対話設定（例えば，オンライン・対面），異なる対話システムでも，訓練された主観評価推定モデルが動作する必要がある．複数のコーパス間/個人間/MMデータ間の，差異や共通点に着目し，推定対象の知識を補強・抽出するMM転移学習手法を確立する．
|
