2017 Fiscal Year Research-status Report
ロボットによるマルチモーダル言語獲得―格助詞の学習―
| Project/Area Number |
15K00244
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
岩橋 直人 岡山県立大学, 情報工学部, 教授 (90394999)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 言語獲得 / ディープラーニング / ロボット / 格助詞 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
本研究では、人間の言語獲得の構成論的な理解を深めるために、既に開発済みである言語獲得計算機構L-Coreの学習対象文を、実世界に直接はグラウンドしない機能語である格助詞を含んだ文にまで拡張する。
計画の最初の二年間（27、 28年度）で、人間の物体操作指示発話と物体操作情報のペアからその対応付けを学習するアプローチに基づき、ディープラーニングを用いてEnd-to-endで機能語を含む文を学習する手法の開発に成功した。提案手法は、深層格構造の解析における物体クラス認識の計算過程と、表層格構造を解析する計算過程、および表層格構造と深層格構造の対応付ける計算過程を陽に設けることなく、全体の計算過程の中に統合して埋め込み、全体性能を最適化するものであった。
これに加えて、引き続く三年目（29年度）は、動作と発話（格助詞を含む）からなる人間の行為に対して、ロボットが適切に、動作と発話（格助詞を含む）からなる行為で応答することを学習する、ヒューマン・ロボット・マルチモーダル・コミュニケーションのニューラルネットワークモデルを開発した。従来のいかなる手法でも実現されていない、本手法におけるオリジナルな特徴は次の三つである：（１）人間の動作、発話、状況画像の情報が入力される。（２）ロボットの動作、発話の情報が出力される。（３）画像に関する質問発話と動作指示発話などの複数の種類の発話行為に対して適応的に応答可能である。最初の二年間で開発した手法のように格助詞を含む文とその意味を学習するだけでなく、マルチモーダルな応答までをもEnd-to-endで学習することに成功したことは、計画当初の予想を上回る極めて大きな成果であると言える。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
29年度は、当初の予定では、二つの研究項目：①マルチモーダル言語獲得手法の実験・評価・改良、および、②人間の言語獲得の構成論的理解、を実施する予定であった。予定どおり、上記研究項目①を、さまざまな工夫を凝らしながら実施していたところ、当初の計画で予定していた性能を大きく越える、極めて独創的な手法（ヒューマン・ロボット・マルチモーダル・コミュニケーションのニューラルネットワークモデル）の開発に成功した。手法の概略は上記「研究実績の報告」に記載のとおりである。そのため、研究の成果を最大限にするため、当初予定されていた上記研究項目②を実施する代わりに、開発手法の実験と評価に集中した。
|
| Strategy for Future Research Activity |
最終年度（30年度）は、ヒューマン・ロボット・マルチモーダル・コミュニケーションのニューラルネットワークモデルの実験、評価、改良を行うととも、この極めて大きな成果ができるだけ早く広く実社会で利用されるよう、発表などの広報活動を行う予定である。
|
| Causes of Carryover |
研究を進めた結果、新しいアイデアが生まれ、当初に目的としていたものよりも、優れた手法を開発することに成功した。そのため、この手法の性能を詳細に評価し、学会投稿や論文投稿をおこなう予定である。
|
Research Products
(5 results)
