2014 Fiscal Year Annual Research Report
系列マイニングを用いた説明状況下に表出する非言語情報の機能解析・モデル化
| Project/Area Number |
25730132
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
岡田 将吾 東京工業大学, 総合理工学研究科(研究院), 助教 (00512261)
|
|---|
| Project Period (FY) |
2013-04-01 – 2015-03-31
|
| Keywords | マルチモーダルインタラクション / 説明スキル評価 / 機械学習 / 社会的信号処理 |
|---|
| Outline of Annual Research Achievements |
コミュニケーションの質を自動判定するシステムの構築を目指し，本研究では説明者の説明スキル・説明内容が理解しやすいかといった，説明の質を判別する計算機モデルを構築することを目的とした． カメラ・マイク・モーションセンサを利用して取得した，会話者全員の発話内容から得られる言語情報，発話状態，視線状態，ジェスチャ，うなづきといった非言語情報を入力として，会話中に行われた説明の質を推定する機械学習のアプローチにより研究を行った．今年度は，説明スキルに関して，「説明内容の正確さ」だけでなく，「ユーモアを交えた説明」，「簡潔な説明」といった多様な尺度を用意し，3名の外部評価者による計67個の説明会話シーンの評価を行った．複数評価者の評価の一致率約は約0.8であり，一定の客観的な評価値を獲得することに成功した．説明スキルの評価値を会話者の言語・非言語情報から推定するモデルを機械学習により構築し，評価した結果，
説明スキル尺度の高・中・低の3段階のレベルを約70％の精度で予測できることが確認された．
特に，説明スキルが高いと評価された会話では，「発話量」，「ジェスチャ量」といった単一モダリティの特徴量だけでなく，「説明者が聞き手を見ながら発話を行う」，「頭部動作を行いながら説明を行う」といった，複数モダリティの共起特徴が頻繁に観測されることがわかった．このモデルは，説明会話エージェントの設計への応用や，コミュニケーション支援システムへの工学的応用に利用できるだけでなく，客観的に説明が上手であると判断される人が行いやすい行動特徴の一部を明らかにしたという点で社会心理学・行動科学といった学問の知見を蓄積することにも寄与したと考えられる．
|
