2016 Fiscal Year Research-status Report
ロボットによるマルチモーダル言語獲得―格助詞の学習―
| Project/Area Number |
15K00244
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
岩橋 直人 岡山県立大学, 情報工学部, 教授 (90394999)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 言語獲得 / ディープラーニング / ロボット / 格助詞 / マルチモーダル |
|---|
| Outline of Annual Research Achievements |
本研究では、人間の言語獲得の構成論的な理解を深めるために、既に開発済みである言語獲得計算機構L-Coreの学習対象を、実世界に直接はグラウンドしない機能語である格助詞を含んだ文にまで拡張する。学習時は、人間が物体操作指示発話をしながら同時に物体操作を行うプロセスを繰り返すものとする。それらをロボットが観測し、得られる音声と動画像の組の集合を学習データとする。これらを対応付けて、マルチモーダル言語獲得モデルを学習するアプローチをとっている。28年度は、物体クラス認識を必要としない格助詞を含んだマルチモーダル言語獲得手法を開発した。
音声と動画像とを対応付けることで、格助詞を含む言語のマルチモーダル言語獲得の問題は、理論的には、音声から言語の表層格構造の解析、動画像から言語の深層格構造の解析、および表層格構造と深層格構造の対応付け、の３つの部分問題に分割することができる。27年度に、これらの３つの部分問題を解くために個別に設けていた計算過程で生じるエラーが、全体の性能を悪化させることを明らかにし、表層格構造の解析と、表層格構造と深層格構造の対応付けの問題を統合する手法を開発した。本年度は、この手法をさらに発展させて、深層格構造の解析における物体クラス認識の計算過程と、表層格構造を解析する計算過程、および表層格構造と深層格構造の対応付ける計算過程を陽に設けることなく、全体の計算過程の中に統合して埋め込み、全体性能を最適化する手法を開発した。開発手法はディープネットワークに基づくものである。実験により物体クラスの認識モデルの事前学習をすることなく、マルチモーダル言語獲得が実現できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
28年度は、当初の研究計画では、「マルチモーダル言語獲得手法の開発」の研究項目を実施する予定であったが、オンライン化を除いて予定どおり実施することができた。27年度には、予定していた「音声の表層格解析手法の開発」を必要せず、音韻列を直接深層格構造に対応付ける、当初の計画で予定していた手法の性能を上回る新しいマルチモーダル言語獲得手法を開発した。しかし、詳細な評価を進めた結果、動画像の深層格構造の解析、および深層格構造と音韻列の対応付けの計算過程を統合できる新たな可能性を見出した。その後、試行錯誤を繰り返した末、物体クラスを認識する計算過程と、音韻列から単語への分節化の計算過程、および文法を学習する計算過程を、全体の計算過程の中に統合して埋め込み、全体性能を最適化する手法の開発に成功した。開発手法はディープネットワークに基づくものである。これは、当初の計画で目的としていたマルチモーダル言語獲得手法の性能を大きく上回るものである。
|
| Strategy for Future Research Activity |
最終年度（29年度）は、当初計画通り、「マルチモーダル言語獲得手法の実験・評価・改良」、「人間の言語獲得過程との比較」を遂行してゆく予定である。特に、28年度に考案したマルチモーダル言語獲得手法が非常に高い独創性を有するものであると考えられるので、この手法の拡張・改良に尽力してゆく。
|
