2015 Fiscal Year Research-status Report
マルチモーダル会話モデリングに基づくグループ意思決定プロセスの解析
| Project/Area Number |
15K00300
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
岡田 将吾 東京工業大学, 総合理工学研究科, 助教 (00512261)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | マルチモーダルインタラクション / 会話解析システム / データマイニング / 社会的信号処理 |
|---|
| Outline of Annual Research Achievements |
本研究は，意思決定を行うための少人数のグループ会議のプロセスを自動的に解析し，ミーティングの振り返りや，自身のミーティングと効率的であったり・満足いく結論が生まれた良質なミーティングプロセスとの違いを把握する手法の開発を目的とする．多くの議論・ミーティング解析手法は議論内容の自然言語解析を主としていたが，本研究は視線・顔向き・韻律といった非言語情報の解析結果を統合して，「ある人物の発言に聞き手がうなづく」，「ある発言が出た際，多くの会話者が視線を向けた」といった，重要度の高いと考えられる発言を抽出する新規の手法を提案し，これを応用したミーティング解析技術の提案に焦点を当てている．
本年度は，聞き手のうなづきを伴った発言や，定常より大きな声で発言された発言のような，定常発言とは異なる発言を抽出するデータマイニング手法を提案した．これを情報説明・共有を行う8組のグループ会話データに適用し，上手に情報説明を行っているシーンを約80％の精度で識別できることを確認した．次に，約30セッション，合計900分の問題解決課題を対象としたグループディスカッションにおける全発言データに「意見」，「公開質問」，「同意」といった意味タグを付与し，発言間の関係と，その発言時の頭部動作や韻律情報を同時に解析する技術を開発した．
来年度は，結論の良し悪しを評価し，上記の発言タグや，その遷移パターン，共起する「うなづき」，「視線」といった非言語情報を統合して，ミーティング解析手法の開発・評価を行う．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ミーティングプロセス解析のために，聞き手のうなづきを伴った発言や，定常より大きな声で発言された発言のような，定常発言とは異なる発言を抽出するデータマイニング手法を提案・評価した．本手法を，情報説明・共有を行うグループ会話データや27セッションの計102名参加の問題解決グループ会話データに適用し，有効性を確認した．
上記より，実際の会話データを用いて，会話者の非言語情報を信号処理・パターン認識により自動解析し，書き起こしデータと組み合わせて分析する手法は，目的であるミーティングプロセス解析手法の実現に大幅に近づいたため，初年度の進捗状況として「概ね順調に進展している」と判断した．
|
| Strategy for Future Research Activity |
言語・非言語情報を統合したミーティングのプロセスの解析手法の開発のための，基盤研究要素は以下の3点である
①非言語イベントの抽出技術を基盤として，意思決定に至るまでの議論フェイズを規定する非言語イベント群により議論フェイズを認識するモデルを構築・評価する．②収集済みの30セッションのグループ会話， 10セッションのグループ会話データを加え，大規模な問題解決型マルチモーダル会話コーパスを構築し，解析技術の評価を行う．③質問紙調査に基づき会話データの評価を行い，このダイナミクスと関連付け，アウトプットの高かったグループと低かったグループの比較を行い，異なる要因を列挙することで，ミーティングプロセス解析手法の挙動を分析し，評価を行う．
①に関して，当初「ブレーンストーミング」などの議論フェイズを識別するモデルを構築する予定であったが，収集したディスカッションデータから，明確に議論フェイズが分かれているとは限らないことを分析の結果確認したため，方針を変更し，発言と非言語情報の共起パターン解析を行い，非言語情報付き発言パターンをクラスタリングし，このクラスタの時系列遷移や，頻度を比較することで，議論の比較を行うこととした．その目的のために非言語情報付き発言パターンを抽出する手法を新規に開発した．②に関して，発言行為のタグや，その発言時の頭部動作や韻律情報を同時に解析する技術を提案し，30セッションの会話データを用いて評価を行ったため達成できた．ディスカッションプロセスの支援手法の評価も本データを用いて行う予定である．③に関して，ディスカッションのアウトプットの評価を来年度に行い，抽出した発言タグ・非言語パターンと関連付けて解析する予定である．
|
| Causes of Carryover |
(1)当課題の成果であるジャーナル論文2本が28年度に採択される可能性が高くなり（2016年5月10日現在，1本 採択決定，1本 条件付き採録で査読中），掲載料を28年度計上するため
(2)アノテーションに係る謝金を執行予定であったが，昨年度の段階では研究のためのデータ量が十分であったため，次年度以降に使用することとした．
|
| Expenditure Plan for Carryover Budget |
(1)ジャーナル論文2本掲載料に計上する．
(2)新たな会話データに発言タグを付与するために係る謝金・人件費に計上する．
|
