2018 Fiscal Year Annual Research Report
Multimodal Language Acquisition by Robots - Learning Case Particles
| Project/Area Number |
15K00244
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
岩橋 直人 岡山県立大学, 情報工学部, 教授 (90394999)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | コミュニケーションモデル / ニューラルネットワーク / 言語獲得 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、人間の言語獲得の構成論的な理解を深めるために、既に開発済みである言語獲得計算機構L-Coreの学習対象文を、実世界に直接はグラウンドしない機能語である格助詞を含んだ文にまで拡張することである。
三年目まで（27, 28, 29年度）に、動作と発話（格助詞を含む音韻列表現）からなる人間の行為に対して、ロボットが適切に、動作と発話（格助詞を含む）からなる行為で応答することを学習する、マルチモーダル・コミュニケーションのニューラルネットワークモデル（MCNNM: Multimodal Communication Neural Network Model）を開発した。従来のいかなる手法でも実現されていない、本手法におけるオリジナルな特徴は次の三つである：（１）人間の動作、発話、状況画像の情報が入力される。（２）ロボットの動作、発話の情報が出力される。（３）画像に関する質問発話と動作指示発話などの複数の種類の発話行為に対して適応的に応答可能である。格助詞を含む文とその意味を学習するだけでなく、マルチモーダルな応答までをもEnd-to-endで学習することに成功したことは、計画当初の予想を上回る極めて大きな成果であった。
30年度は、当初の計画で最終年度に行う予定であった人間の認知メカニズムの構成論的な理解の研究として、MCNNMを利用し、統合失調症の計算モデルの構築に成功した。健常者の対話を表すデータを用いた学習したネットワークの一部に変形を加えることで、統合失調症の患者と同じような対話の生成を実現することができた。
|
