2017 Fiscal Year Annual Research Report
Development of a multimodal discussion map and a assessment support system based on discussion understanding
| Project/Area Number |
17H01840
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 准教授 (50346863)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | マルチモーダル / 言語処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
平成29年度は，以下の点について研究を進めた．
（1）コーパスの改良：Kyutechコーパスに対して，新たなアノテーションを追加した．具体的には参照要約に基づく抽出型要約の正解データと各発話に対する対話行為の付与である．抽出型要約については，申請者の過去の研究に基づき，その有効性を検証した．対話行為については，既存のいくつかの対話行為タグセットを比較し，本タスクに適した対話タグを選定してアノテーションした．アノテーションされたコーパスを基に対話行為推定手法の提案を行い，その有効性を検証した．
（2）言語理解と言語生成技術：対話においては直接的な表現だけではなく，間接的な表現も頻出する．本年度はその中でも皮肉に着目し，皮肉を含む文の検出について研究を行った．また，本申請課題の目的の一つは議論を適切な単位で要約することである．そのため，データから文を自動生成する技術についても研究を行った．手法として，旧来のテンプレートベースの手法とニューラルネットワークベースの手法を提案し，その有効性を検証した．
（3）表情の分析：前項(2)にも関係するが，人は時として嘘をつくことがある．議論中の発話に嘘が存在するかどうかを判定することは重要だと考えられる．そこで顔画像情報に基づき，嘘をついた瞬間を検出する技術について研究を進めた．
（4）視線情報の分析：複数人対話環境を対象とし，各対話参加者がどの方向を向いているかを推定する技術について研究を行った．顔の方向推定と視線方向推定の両方について研究し，その有効性を検証した．
（5）ファシリテーターのモデル化：本申請課題の最終的な目的は，デジタルファシリテーターを実現することにある．そこで，既存のコーパスで議論をコントロールした参加者とそうでない参加者の言語・非言語情報からファシリテーターの振る舞いを分析し，機械学習によってモデル化した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コーパスへの追加アノテーションを行い，その有効性は確認できた．参加者の状態や意図を単に表層的な文字列だけで捉えるのではなく，視線方向などマルチモーダル的な解釈のみならず，皮肉のような現象や嘘をつく瞬間の表情など様々な観点から研究を進めており，研究は着実に進んでいる．
最終的な目的であるデジタルファシリテーターの実現に向けて，議論のリーダーとして振る舞う人間の行動分析を行い，それをモデル化することまでできており，この点についても研究は順調に進んでいる．
|
| Strategy for Future Research Activity |
コーパスに関する追加アノテーションは着実に進んでおり，そのためのマニュアルなどのノウハウも充実化してきている．今後は，追加アノテーションを含むコーパスの公開を進める．加えて，対話データ数を拡充し，コーパスの質だけではなく量の面での改善も進める．
研究課題の一つである要約については，全般的な議論要約のひな形は完成し，実験的な検証を行ったが，精度の面では十分ではない．また，要約の手法も現在は抽出型であり，より人間にとって理解しやすい要約生成を実現するためには生成型の要約手法の確立が必要であり，今後の課題である．また，議論の全体を単に要約するだけではなく，議論中のあるトピックや側面（アスペクト）について動的に要約できることが，例えば，PBL的な議論を教師が評価する場合は望ましい．そこでアスペクトに着目した要約技術の確立も今後の課題である．
画像処理については，頭部や視線の方向についてはある程度対応できてるが，微表情と呼ばれる刹那な表情への対応は十分ではない．一方で，議論参加者の微細な心情変化を捉えるには，そのような微表情を検出できる枠組みが必要であり，今後の課題である．
ファシリテーターとしてのモデル化は行ったが，現状では議論全体を通してのファシリテーターの振る舞いをモデル化した状態に留まっている．一方で，実際に作成したモデルを利用する場合には，ミクロ的な視点でのモデル化（どのような場面/文脈で，どのように振る舞うべきか）も必要である．これらのモデルと議論マップシステムとの統合を図り，デジタルファシリテーターシステムのプロトタイプ化を模索する．
|
