2015 Fiscal Year Annual Research Report
| Project/Area Number |
15H02746
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
新田 克己 東京工業大学, 総合理工学研究科(研究院), 教授 (60293073)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岡田 将吾 東京工業大学, 総合理工学研究科(研究院), 助教 (00512261)
平田 勇人 朝日大学, 法学部, 教授 (90189837)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 議論解析 / コミュニケーション支援 / マルチモーダル情報 / 数理議論学 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
平成27年度は交付申請書に記載した研究計画どおりに、（１）マルチモーダル情報を使った議論分析のための基本モジュールの開発と、（２）議論の動画データの収集とデータの分析、を目的として研究を行った。
（１）については、議論記録から階層的なトピック抽出をするための機械学習のモジュールを開発した。このモジュールの応用として、新聞の社説データベースから特定のトピックの社説を抽出し、意見が分かれる問題に関して、社説動向がどのように変遷するかを解析するシステムを開発し、トピック抽出モジュールの有効性を示した。
また、議論中の動画から顔の動きを解析するため、FaceAPIの予備調査を行った。
（２）については、住民のトラブルの事例に関する議論の課題を設計した。その課題に関して二人ずつ10組の議論を行い、議論の様子を動画で記録した。この記録は、まず発言をテキスト化し、法律の専門家の立場から評価点をつけた。次に個々の発言を「言語行為＋論点」の観点からタグ付けを行い、タグの時系列の特徴と、専門家による評価点を比較し、相関分析を行った。その結果、発言記録から採点結果を予測することがある程度可能であることを示した。
また議論を分析するために、数理議論学の「議論フレームワーク」の理論を拡張し、議論が複雑になっても、議論をサブテーマごとにモジュール分割し、議論全体の結論を容易に計算できる理論（信頼性ベースの議論フレームワーク）を提案した。この理論に基づき、タブレットPC上で動作する議論教育支援システムを開発し、議論がどちらに有利な状況下であるかを把握しながら議論戦略をたてる仕組みを実装した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は（１）基本モジュールの開発と、（２）議論データの収集と初歩的な解析、を行う計画であった。
（１）基本モジュールに関しては、議論記録からトピック抽出を行う機械学習モジュールを開発し、新聞の社説データベースに適用して、トピック抽出の機能が有効であることを示した。また、顔画像を中心にした動画記録から顔の動きを抽出するため、FaceAPIの予備実験を行い、顔の動きを自動的に認識できることを示した。FaceAPIを使った顔の動作認識モジュールの開発はやや遅れているが、総じて（１）のテーマの計画通りにおおむね順調に進展している。
（２）議論の動画データの収集とデータの分析に関しては、設計した議論課題をもとに10組の議論データを収集した。それぞれの議論データは、TVカメラやマイクを使って、参加者の表情や身振りや声の大小などのマルチモーダル情報を詳細に記録できるように装置を工夫した。そのデータに対して、テキスト起こしを行い、議論の論理分析用のタグ付けを行い、そのタグの時間系列から議論のスキル評価がある程度行えることを示した。
また、大規模な長時間の議論に耐えるような、新しい議論フレームワークの理論を提案した。この理論に基づき、タブレットPCの上で動作する議論システムを開発し、複数のタブレットPCを議論サーバに接続して、議論を行うオンライン議論システムを開発した。このシステムは、新しい議論フレームワークの理論に基づいた機能も搭載しており、理論が有効に働くことを示した。これは概ね研究計画どおりであり（２）のサブテーマも概ね順調に進展している。
|
| Strategy for Future Research Activity |
本年度は、解析精度を高めるため、前年度に引き続き、議論記録の一層の収集とタグ付けによる議論分析を行う。議論分析に関して、前年度は議論記録のうちでテキスト情報の分析に重点をおいていたが、本年度はFaceAPIを用いたマルチモーダル情報の抽出の自動化も行い、トータルな議論のスキル解析の手法を確立する。また、テキストのみで議論スキルの評価をした場合と、マルチモーダル情報も用いて議論スキルの評価をした場合の比較を行い、議論におけるマルチモーダル情報の役割を分析する。
次に議論エージェントの実装を開始する。具体的には、テキストとマルチモーダル情報の両方を利用して、議論を行うエージェント機能をヒューマノイド型ロボットPepperの上に実装する。この議論エージェントは、相手の発言内容やそのときの身振り等から相手の状況を推測し、次に状況に応じて自分がとるべき発言と身振りを自動生成する機能を持つ。そのための１つ１つの要素モジュールの開発を行い、それらを統合して、全体として議論ができる最低限の機能を実装する予定である。
|
Research Products
(4 results)
