2019 Fiscal Year Annual Research Report
Envisioning Common Ground Update in Conversations and Evaluating its Effectiveness in Cross-Cultural Training
| Project/Area Number |
19H01120
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西田 豊明 京都大学, 情報学研究科, 教授 (70135531)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中野 有紀子 成蹊大学, 理工学部, 教授 (40422505)
岡田 将吾 北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00512261)
黄 宏軒 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (00572950)
Peterson Mark 京都大学, 人間・環境学研究科, 准教授 (90361732)
Mirzaei Maryam 国立研究開発法人理化学研究所, 革新知能統合研究センター, 特別研究員 (10810509)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 会話情報学 / 会話基盤 / コミュニケーション / 機械学習 / 異文化学習 |
|---|
| Outline of Annual Research Achievements |
1. 第一人称視点，第三人称視点を切り替えながら，部品を組み合わせてインタラクティブドラマ制作をサポートできる会話基盤更新プロセス可視化支援システムiSCTを研究開発した．
2. FACSvatarを拡張し，従来から開発してきたGECAプラットフォームの上で標準的な方法でマルチモーダル入出力情報を統合してAI actorを構築するための基盤を構築した．RNNを使って，会話参加者の機能的役割を検出し，AI actorの頭部の非言語行動に反映する手法を研究開発した．
3. 大規模知識Freebaseに基づき，話題を選択し，質問を生成する手法を組み込んだ対話システムを作成した．会話基盤構築における情動的側面に着目し，応答発話と共起するAction Unitの表情パラメータを予測するモデルを作成した．engagementについての自己評価，他者評価，合成評価の3種類を推定するサポートベクター回帰モデルを作成した．
4.母国語話者と非母国語話者が不均衡に混在したグループ討論と母国語話者だけによるグループ討論を収録して，小規模データコーパスを試作した．実験参加者の会話行動の傾向に関する予備的な分析を行い，公開した．
5.グループ討論における言語・非言語情報から抽出した会話行動特徴量から，グループ討論の質の推定を行うためのマルチモーダル特徴量の抽出方法を提案し，評価を行った．対話中のユーザの心象・興味度を予測するモデルを構築・評価し，ユーザのマルチモーダル情報に基づいて,対話ターンごとに付与された3 種類のラベルを予測するマルチタスク学習モデルを提案した．
6. 学習者のインタラクションを分析して，文化に依存した学習効果を定量的に評価する方法について検討した．仮想インタラクション環境における文化依存性のあるコミュニケーションの分析実験から得られた知見を取りまとめ，今後の研究の基礎を固めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
会話基盤更新プロセス可視化支援システムという観点からは，部品をベースにした堅固な会話基盤更新プロセス可視化機構を実現し，これからの研究の基盤を構築できた．先進的な目標として位置づけられていたAI actorについては，当初計画以上の進展があった．他方，基盤整備と先進機能の実装を優先したので，混合現実機能の導入はやや遅れている．
多粒度の会話基盤更新モデルの構築という観点からは，異なる時間粒度にまたがる会話基盤更新プロセスを考慮した会話行動の話題選択と表情生成に関わるモデルを構成できた，Engagementとマルチモーダル情報の関係の解明についても成果が得られたなど，会話基盤更新プロセスをモニタしつつ会話を進めることのできる会話システムで使えるモデルの実現に見通しがついた．
機械学習を用いた会話基盤更新モデル獲得についても，母国語話者と非母国語話者が不均衡に混在したグループ討論と母国語話者だけによるグループ討論の対照というアプローチにより，ユニークな成果が得られる見通しが得られた．また，参加者の非言語行動と討論における会話行為の関係についてのデータ収集と会話行動予測モデル構築に焦点をあてることによって，グループ討論の質の推定を行うためのマルチモーダル特徴量の抽出方法の開発，対話ターンごとに付与された3種類のラベルを予測するマルチタスク学習モデルの開発，各人の発言のインタラクションプロセスタグを各人のマルチモダール情報から推定するための時系列予測モデルの開発などの成果は学術上の価値が高くマルチモーダルインタラクションのトップ会議（ICMI)でBest Paper Runner-up Awardを2件受賞した．
会話基盤形成のもたらす効果をグループ討論，外国語学習支援などのタスク指向にマルチモーダル情報から捉えるというアプローチが有望であることが分かった．
|
| Strategy for Future Research Activity |
会話基盤更新プロセス可視化支援システムについては，インタラクティブドラマ制作をより効果的に行えるようにするために，2019年度に予備検討をした協調オーサリング機能の整備を行う．機械学習を用いてコンテンツ制作をより効果的に行えるようにする．混合現実技術を使ったコンテンツ制作には引き続き取り組む．
多粒度の会話基盤更新モデルの構築については，会話基盤更新プロセスの推定に基づく会話管理のより包括的機構の構築に取り組むとともに，会話基盤更新プロセスをモニタする手法の深化に努める．また、マルチモーダル情報からパートナーとどれだけの会話基盤が構築できているかを推定する手法について研究する．
機械学習を用いた会話基盤更新モデル獲得に関しては，状況依存行動，登場人物依存行動，文化依存行動が観察されるグループ討論に焦点をあてることとした．自然言語翻訳タスクのようなEnd-to-Endな学習よりも，現在の行為を一度本成果手法で推定し，行為ラベルと状況・文化などのタグ情報を加味して，行動をルールベースで生成する方法を導入したハイブリッド方式を検討する．
会話基盤更新プロセスの可視化の有用性を評価するためのタスク領域は，グループ討論，ゲーム性を取り入れた外国語学習支援を中心とすることとした．異文化性のあるグループ討論におけるマルチモーダル情報の分析を行い，会話基盤構築の推定を行い，異文化コミュニケーション支援手法の有効性の評価を試みる．ゲーム性導入の有効性の評価についても引き続き検討を続ける．
|
| Remarks |
上記のほか，分担著として次の2件．
https://doi.org/10.4018/978-1-7998-2591-3.ch004
https://doi.org/10.4018/978-1-5225-7286-2.ch001
|
