2018 Fiscal Year Annual Research Report
Development of a multimodal discussion map and a assessment support system based on discussion understanding
| Project/Area Number |
17H01840
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
嶋田 和孝 九州工業大学, 大学院情報工学研究院, 准教授 (50346863)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
齊藤 剛史 九州工業大学, 大学院情報工学研究院, 准教授 (10379654)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | マルチモーダル / 言語処理 / 画像処理 |
|---|
| Outline of Annual Research Achievements |
平成30年度は，以下の点について研究を進めた．
（1）コーパスの改良：コーパスの構築には多大なコストがかかる．そのコストを軽減するために，トピックや対話行為などのタグ付け（アノテーション）を支援する環境の構築を進めた．アノテーション支援の際に機械学習によるフィードバックモデルを組み込み，どの程度の精度が得られれば，アノテーション精度が向上するかなどについて、様々な視点から実験的に考察した．
（2）議論マップを用いた支援機能の有効性検証：議論マップを用いて，特定のトピックについて議論させ，その議論中にそれぞれの考えや場の総意を可視化する技術について研究し，その有効性を検証した．
（3）顔向きおよび視線情報，表情の分析：複数人対話環境を対象とし，各対話参加者の注意方向を推定する技術や表情の分析ついて，平成29年度に引き続き研究を進めた．
（4）ファシリテーターのモデル化：本申請課題の最終的な目的は，デジタルファシリテーターを実現することにある．昨年度は大局的な視点からのファシリテーターの行動を分析し，モデル化した．一方で，実際にデジタルファシリテーターで議論を制御するには具体的にどのようなタイミングで議論に介入するべきかを判断する必要がある．そこで，既存のコーパスを用い，機械学習によって議論を取りまとめるタイミングの予測モデルを構築し，その有効性を検証した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
コーパスへのアノテーション支援ツールを実装した．Kyutechコーパスに関するアノテーション実験によって，一定の有効性と今後の課題が確認できた．議論マップを用いた情報の可視化や議論へのフィードバック機能を実装し，検証することで，その有効性も確認できた．マルチモーダル化に向けて，表情や視線検出・分析技術の研究も着実に進んでいる．デジタルファシリテーターのための議論介入タイミング予測モデルを構築し，その有効性も検証できており，研究は順調に進んでいるといえる．
|
| Strategy for Future Research Activity |
議論マップから得られた場の状態から受動的な支援をする枠組みは実装されている．また，デジタルファシリテーターの大局的な視点からの振る舞いや介入タイミングのモデルについても考察している．これらの知見を踏まえて，能動的な議論マップからの議論支援手法について考察する．
また，対話における人の振る舞いなどについてさらに詳細に分析し，議論支援システムの枠組みに組み込むことを検討する．
コーパス作成支援ツールのプロトタイプが完成しており，このツールを有効利用したコーパスの拡充を進め，より質の高い議論コーパスを構築し，一般公開することを目指す．
|
