2014 Fiscal Year Research-status Report
議論マップとマルチモーダル情報理解に基づく知的対話支援
| Project/Area Number |
26730176
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 准教授 (50346863)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 要約 / 自然言語処理 / 言い換え / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
議論は企業における会議や政策・意思決定のみならず，PBLを代表とした教育現場でも能動的学習として行われており，議論を支援・理解する技術の重要性は日に日に増している．本年度は4人の参加者が何らかのトピックについて議論する環境を想定し，議論内容の要約と議論の支援ツールの開発を行った．
要約技術に関する研究としては，映画やSNSなどの特定のトピックを与え，そのトピックについて議論された対話データについて，抽出型の要約手法を提案し，その有効性を検証した．具体的には，(a)スコアリングに基づく手法と(b)機械学習による手法の2つを提案し，その2つを統合的に利用することで対話を要約する手法を実現した．(b)の機械学習による手法では，言語情報と非言語情報に着目した．非言語情報としては，笑いの有無や種類，対話の盛り上がり度，発話時間やオーバーラップの有無などを適用した．実験の結果，笑いの有無や盛り上がり度は，重要文抽出の精度向上には貢献しなかったが，発話時間は有意な精度向上が見られることを確認した．さらに2つの手法(a)および(b)を統合した要約結果は，先行研究や(b)のみによる要約結果と比較して，読みやすさおよび内容の正確さの点で高い評価を得ることが被験者実験により確認された．
対話支援に関する研究としては，議論マップと呼ばれるキーワードをグラフ構造で表現する手法を提案し，その議論マップをタブレット端末上に実装して，有効性を検証した．各対話参加者間の議論マップの類似性を計算する枠組みを提案した．その類似度に基づき，各参加者の理解度やお互いの理解に齟齬がある部分を検出する枠組みを実装し，被験者実験を通してその有効性を検証した．実験では，推定された理解度と対話後のアンケートの結果に関連性が見られ，一定の有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
議論の内容理解技術として要約に着目し，いくつかの言語情報および非言語情報を統合する枠組みを提案し，その有効性を実験的に確認できており，着実に研究が進んでいると考えられる．また，より深い内容理解を行うために，文の含意関係を認識する技術や文間の時間関係を推定する技術についても研究も行っており，研究は順調に進んでいる．
また，マルチモーダル情報理解の基盤となる議論マップの実装と評価も行い，その有効性は確認している．この点からも研究は当初の計画に基づき，順調に進展しているといえる．
|
| Strategy for Future Research Activity |
現在は特定のトピックに関する自由議論を主な対象としていたが，より多様な議論に対する技術を確立するためには，他の議論データも不可欠である．そこで，明確な答えのないPBL的な対話環境を想定した対話データを収集し，新たな対話コーパスを構築する．
要約については，現在は抽出型の要約手法を提案しているが，より柔軟な要約を実現するためには生成型の要約技術も不可欠であり，この点は次年度以降の大きな課題の一つである．現在の言語情報は頻度などの統計的情報を主に扱っているが，感情などの主観的な情報の組み込みも重要な課題である．また，各発話単体の特徴だけではなく，対話の流れやトピックの変遷を考慮した内容理解の枠組みも重要であり，今後の研究タスクとなる．
現在の議論マップシステムは対話の理解度を推定するにとどまっており，議論の最終的な決定などを支援できていない．そこで，議論マップから得られる情報を別の形で可視化し，有効な意思決定ができる枠組みを提案・実装・評価する予定である．
また，マルチモーダル化を図るため，参加者の仕草や微表情などに着目した，参加者の心理状態推定なども今後の研究課題である．
|
| Causes of Carryover |
年度末の出張旅費などの端数として余ったため．
|
| Expenditure Plan for Carryover Budget |
平成27年度に組み込み，物品購入もしくは旅費として使用する．
|
