2016 Fiscal Year Research-status Report
マルチモーダル会話モデリングに基づくグループ意思決定プロセスの解析
| Project/Area Number |
15K00300
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
岡田 将吾 東京工業大学, 情報理工学院, 助教 (00512261)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | マルチモーダルインタラクション / 社会的信号処理 / インタラクションマイニング / コミュニケーション支援 |
|---|
| Outline of Annual Research Achievements |
本研究課題の目的は，グループディスカッションにおける会話参加者の発話内容（言語情報），身振り手振り，音声といった非言語情報のダイナミクス（時間遷移）を計算機への入力として，ディスカッションのアウトプットやコミュニケーション能力の違いを自動分析するメカニズムを構築することである．今年度は， グループディスカッション中のダイナミクスを発言の談話行為（提案や意見など）の順序とみなし，参加者個人のコミュニケーション能力と，その個人の発言の談話行為・表出した非言語情報との間の関係を機械学習によりモデル化する枠組みを提案した．
この枠組みを利用することで，コミュニケーション能力の高い個人が行う，ディスカッションの進め方（最初に計画をたてる，相手の意見に同意した後に自身の意見を述べる）を分析可能となる．この枠組みを評価するために，異なる3種類のディスカッションタスクを収録したディスカッションデータコーパスを用いた．
アイテム候補を重要性順に並び替えるインバスケット課題と，ある状況下で最良のプランニングを行うことを求める2種類のロールプレイ課題を行った場合で，コミュニケーション能力の高い参加者から表出する非言語情報，談話行為を比較した結果，より与えられる事前情報が少なく，ディスカッションの流れが一意に決まらないロールプレイ課題で，より談話行為の遷移（ダイナミクス）が重要となることがわかった．
一方で，枠組みをセンサデータから全自動処理で分析するシステムを構築するために，音声認識結果から発言単語の品詞種類を推定する技術の開発も行った．会話中の発話音声の認識精度は十分ではないものの，認識結果の信頼度を加味することで品詞の推定精度を向上出来ることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
グループディスカッションにおける個人のコミュニケーション能力（論理性，説得力，対人コミュニケーションの円滑さ）とそのディスカッションのアウトプットには密接な関係があることが知られている．本課題の挑戦は，コミュニケーション能力のような曖昧な概念を
個人の表出する言語・非言語情報より推定する計算機モデルを機械学習により構築し，ディスカッションの質の分析を量的に行う技術を確立することであった．前年度には，コミュニケーション能力の推定モデルの構築方法を確立していたが，談話行為の遷移を含めて分析することで，より詳細なコミュニケーション能力の分析が可能になったことと，能力値の推定精度を向上させることが出来た．
発言の談話行為の遷移を含む言語情報と非言語情報からコミュニケーション能力の度合いを高精度に推定する枠組みを，世界に先駆けて確立し，複数の論文として採録されたことから，研究は順調に進展したと評価した．
|
| Strategy for Future Research Activity |
昨年度までに収集した談話行為タグを利用して，
タスクごとの談話行為の遷移（ダイナミクス）をコミュニケーション能力と関連付けることが可能となった．ただし，まだディスカッションのアウトプットの評価方法の確立が定まっていないため，最終年度はこの評価方法の確立を行い，各グループのディスカッションのアウトプットのアノテーションを外部参加者により行う．
最終年度となる，今年度は①個人のコミュニケーション能力，②個人の言語・非言語情報の時系列，③ディスカッションのアウトプットの三項目間の関係をモデル化する枠組みを構築・評価することで，本課題のまとめを行う．
|
| Causes of Carryover |
以下４つの理由による．(1) 一本のジャーナル論文の査読が28年度に終了しなかったため．(2) 国際会議論文が採択され，29年度に出張が必要となったため．(3) データのアノテーション費用が29年度に必要となったため．(4) 代表者の所属異動に伴い，一部研究物品の買い直しが必要となるため．
|
| Expenditure Plan for Carryover Budget |
ジャーナル論文の掲載料，国際会議の参加費，データのアノテーション費，物品の購入に計上する．
|
