• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2016 年度 実施状況報告書

ロボットによるマルチモーダル言語獲得―格助詞の学習―

研究課題

研究課題/領域番号 15K00244
研究機関岡山県立大学

研究代表者

岩橋 直人  岡山県立大学, 情報工学部, 教授 (90394999)

研究期間 (年度) 2015-04-01 – 2018-03-31
キーワード言語獲得 / ディープラーニング / ロボット / 格助詞 / マルチモーダル
研究実績の概要

本研究では、人間の言語獲得の構成論的な理解を深めるために、既に開発済みである言語獲得計算機構L-Coreの学習対象を、実世界に直接はグラウンドしない機能語である格助詞を含んだ文にまで拡張する。学習時は、人間が物体操作指示発話をしながら同時に物体操作を行うプロセスを繰り返すものとする。それらをロボットが観測し、得られる音声と動画像の組の集合を学習データとする。これらを対応付けて、マルチモーダル言語獲得モデルを学習するアプローチをとっている。28年度は、物体クラス認識を必要としない格助詞を含んだマルチモーダル言語獲得手法を開発した。
音声と動画像とを対応付けることで、格助詞を含む言語のマルチモーダル言語獲得の問題は、理論的には、音声から言語の表層格構造の解析、動画像から言語の深層格構造の解析、および表層格構造と深層格構造の対応付け、の3つの部分問題に分割することができる。27年度に、これらの3つの部分問題を解くために個別に設けていた計算過程で生じるエラーが、全体の性能を悪化させることを明らかにし、表層格構造の解析と、表層格構造と深層格構造の対応付けの問題を統合する手法を開発した。本年度は、この手法をさらに発展させて、深層格構造の解析における物体クラス認識の計算過程と、表層格構造を解析する計算過程、および表層格構造と深層格構造の対応付ける計算過程を陽に設けることなく、全体の計算過程の中に統合して埋め込み、全体性能を最適化する手法を開発した。開発手法はディープネットワークに基づくものである。実験により物体クラスの認識モデルの事前学習をすることなく、マルチモーダル言語獲得が実現できることを示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

28年度は、当初の研究計画では、「マルチモーダル言語獲得手法の開発」の研究項目を実施する予定であったが、オンライン化を除いて予定どおり実施することができた。27年度には、予定していた「音声の表層格解析手法の開発」を必要せず、音韻列を直接深層格構造に対応付ける、当初の計画で予定していた手法の性能を上回る新しいマルチモーダル言語獲得手法を開発した。しかし、詳細な評価を進めた結果、動画像の深層格構造の解析、および深層格構造と音韻列の対応付けの計算過程を統合できる新たな可能性を見出した。その後、試行錯誤を繰り返した末、物体クラスを認識する計算過程と、音韻列から単語への分節化の計算過程、および文法を学習する計算過程を、全体の計算過程の中に統合して埋め込み、全体性能を最適化する手法の開発に成功した。開発手法はディープネットワークに基づくものである。これは、当初の計画で目的としていたマルチモーダル言語獲得手法の性能を大きく上回るものである。

今後の研究の推進方策

最終年度(29年度)は、当初計画通り、「マルチモーダル言語獲得手法の実験・評価・改良」、「人間の言語獲得過程との比較」を遂行してゆく予定である。特に、28年度に考案したマルチモーダル言語獲得手法が非常に高い独創性を有するものであると考えられるので、この手法の拡張・改良に尽力してゆく。

  • 研究成果

    (7件)

すべて 2017 2016 その他

すべて 学会発表 (6件) (うち国際学会 3件、 招待講演 1件) 備考 (1件)

  • [学会発表] Robots that learn to communicate2017

    • 著者名/発表者名
      N. Iwahahsi
    • 学会等名
      15th Int. Conf. Computer Application
    • 発表場所
      Yangon, The Republic of the Union of Myanmar
    • 年月日
      2017-02-17 – 2017-02-17
    • 招待講演
  • [学会発表] Robot Language Acquisition Based on Sequence-to-Sequence Learning2017

    • 著者名/発表者名
      Ye Kyaw Thu, Kenta Takabuchi, Kaisei Fukai, Naoto Iwahashi and Takeo Kunishima
    • 学会等名
      15th Int. Conf. Computer Application
    • 発表場所
      Yangon, The Republic of the Union of Myanmar
    • 年月日
      2017-02-16 – 2017-02-17
    • 国際学会
  • [学会発表] DNN-based Object Manipulation to Syllable Sequence for Language Acquisition2017

    • 著者名/発表者名
      K. Takabuchi, N. Iwahashi, Y.K. Thu and T. Kunishima
    • 学会等名
      Int. Symp. Artificial Life and Robotics
    • 発表場所
      Beppu, Japan
    • 年月日
      2017-01-19 – 2017-01-21
    • 国際学会
  • [学会発表] A Language Acquisition Method Based on Statistical Machine Translation for Application to Robots2016

    • 著者名/発表者名
      K. Takabuchi, N. Iwahashi and Takeo Kunishima
    • 学会等名
      The Sixth Joint IEEE Int. Conf. Developmental Learning and Epigenetic Robotics
    • 発表場所
      Cergy-Pontoise France
    • 年月日
      2016-09-19 – 2016-09-22
    • 国際学会
  • [学会発表] 動画像情報と音声情報のシーケンス変換学習に基づく言語獲得2016

    • 著者名/発表者名
      高渕健太、岩橋直人、国島丈生
    • 学会等名
      自然言語処理研究発表会
    • 発表場所
      総社市、岡山県
    • 年月日
      2016-07-29 – 2016-07-30
  • [学会発表] シーケンス変換モデルに基づくロボットによる言語獲得2016

    • 著者名/発表者名
      高渕健太、坂本伸次、植田紗也佳、岩橋直人、国島丈生
    • 学会等名
      人工知能学会全国大会
    • 発表場所
      北九州市、福岡県
    • 年月日
      2016-06-06 – 2016-06-09
  • [備考] Artificial Intelligence Laboratory

    • URL

      http://www-ime.c.oka-pu.ac.jp/index.html

URL: 

公開日: 2018-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi