2015 Fiscal Year Research-status Report
ロボットによるマルチモーダル言語獲得―格助詞の学習―
| Project/Area Number |
15K00244
|
|---|
| Research Institution | Okayama Prefectural University |
|---|
Principal Investigator |
岩橋 直人 岡山県立大学, 情報工学部, 教授 (90394999)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 言語獲得 / ロボット / 格助詞 / 総計的機械翻訳 / シーケンス間変換モデル |
|---|
| Outline of Annual Research Achievements |
本研究では、人間の言語獲得の構成論的な理解を深めるために、既に開発済みである言語獲得計算機構L-Coreの学習対象を、実世界に直接はグラウンドしない機能語である格助詞を含んだ文にまで拡張する。学習時は、人間が物体操作指示発話をしながら同時に物体操作を行うプロセスを繰り返すものとする。それらをロボットが観測し、得られる音声と動画像の組の集合を学習データとする。学習手法の開発にあたっては、音声から抽出した表層格構造と動画像から抽出した深層格構造の間を対応付け、統計的機械翻訳手法に基づき、マルチモーダル言語モデルを学習するアプローチをとっている。27年度は、以下の研究項目を遂行した。
1. 学習用データベースの作成
本研究では、人間が物体操作指示発話をしながら実際に物体操作を行うプロセスを繰り返し、それらをロボットが観測して得られるデータから、オンラインでマルチモーダル言語モデルを学習する手法を開発する。しかしながら、オンラインでの教示は、人間の負担が大きく非効率である。そこで、オフラインでの実験を行うために、あらかじめオフライン実験用にデータベースを作成した。 10名の音声と動画像のデータを収録しデータベース化した。
2. シーケンス間変換に基づくマルチモーダル言語獲得手法の開発
格助詞を含む文を対象にした、シーケンス間変換モデルに基づくロボットによる言語獲得手法を提案した。シーケンス変換モデルとして，IBM Model 4、およびEncoder-decoder翻訳モデル、を別々に用いた。本提案手法の特徴は以下の2点である： (1) 言語獲得における記号接地問題を統計的機械翻訳の問題としてモデル化した。(2) 形態素解析を必要とせず，言語情報として音節列を直接ロボットの内部記号に変換することが可能である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
27年度は、当初の研究計画では、「学習用データベースの作成」と、「音声の表層挌解析手法の開発」の研究項目を実施する予定であった。これらのうち、「学習用データベースの作成」は、予定どおり実施することができた。一方、「音声の表層挌解析手法の開発」については、研究代表者が既に開発済みであった、テキストを対象にしたMDL規準による単語分割手法を、テキストではなく音声入力への適用を行ったところ、計画策定当初に予想していた性能が出ないことが判明した。そこで発想を転換して、単語分割という独立したプロセスを経由することなく、マルチモーダル言語獲得を可能する、「シーケンス間変換モデルに基づくロボットによる言語獲得手法」の開発にチャレンジしたところ、非常に良好な結果を得ることに成功した。これにより、「音声の表層挌解析手法の開発」の必要が無くなったとともに、非常に高精度で汎用性の高いマルチモーダル言語獲得手法の開発に道筋をつけることができた。
|
| Strategy for Future Research Activity |
28年度以降は、当初計画通り、「物体操作動画像の深層格解析手法の開発」、「マルチモーダル言語獲得手法の開発」、「人間の言語獲得過程との比較」を遂行してゆく予定である。特に、27年度に考案した「シーケンス間変換モデルに基づくロボットによる言語獲得手法」の性能向上に尽力してゆく。
|
Research Products
(5 results)
