• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

Development of a robot which can verbalize its sensing information in the latent semantic space and handles the information with language

Research Project

Project/Area Number 26280096
Research InstitutionOchanomizu University

Principal Investigator

小林 一郎  お茶の水女子大学, 基幹研究院, 教授 (60281440)

Co-Investigator(Kenkyū-buntansha) 長井 隆行  電気通信大学, 情報理工学(系)研究科, 教授 (40303010)
持橋 大地  統計数理研究所, 大学共同利用機関等の部局等, 准教授 (80418508)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords言語生成 / 動作生成 / 潜在的意味 / モンテカルロ木探索 / ロボット / 多層マルチモーダルLDA / 時系列データ / 概念獲得
Outline of Annual Research Achievements

本申請研究では、(i) マルチモーダル情報を言語化するための語彙概念・文法概念の取得、(ii)言語資源の転移学習、(iii)言葉でコミュニケーションをしてロボットを動作させる言語の意味に基づくロボットの動作生成、(iv) 統語情報を考慮したテキスト生成手法の開発、(v) 強化学習を用いたロボットによる言葉の概念の獲得について開発を進めた.(i)については、マルチモーダル情報による現象を表現する文について、研究代表者の所属機関が所有する実験住宅を利用し、生活の中での活動の動作データとその動作を説明する自然文の対応関係から、単語のもつ概念の取得および説明文における文法構造を教師無しでの学習を実現した. (ii)については、ロボットが持つセンサから得られる時系列データを説明する自然言語文から作られたバイグラム言語モデルを用いて、最適な単語の組合わせを発見することより文を生成する.この際、言語資源(バイグラムモデル)が存在しない場合についてもテキスト生成を可能にするZero-shot学習を提案し、時系列データを言葉で表現する手法の高度化に成功した. (iii)については、word2vecを用いて語彙の分散意味表現ベクトルとロボットの動作ベクトルとの対応関係を学習し、入力として与えられた新しい語彙の意味を反映するロボットの動作生成(調理動作を対象とする)を実現し、「切る」「まぜる」などの調理の基本動作に対して、副詞の意味がかかわる動作生成を実現した.(iv)については、モンテカルロ木探索(MCTS)のアルゴリズムを用いて、適切な統語構造および語彙選択をシミュレーションにおいて探索し、テキスト生成を行う手法を開発した. (v)については、ロボットが観測するマルチモーダル情報から動作の概念をロボットが取得し、強化学習をする際に状態空間を概念で表現し学習の効率性を実現する手法を開発した.

Research Progress Status

28年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

28年度が最終年度であるため、記入しない。

Causes of Carryover

28年度が最終年度であるため、記入しない。

Expenditure Plan for Carryover Budget

28年度が最終年度であるため、記入しない。

  • Research Products

    (19 results)

All 2017 2016

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results,  Acknowledgement Compliant: 1 results) Presentation (18 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Learning Word Meanings and Grammar for Verbalization of Daily Life Activities Using Multilayered Multimodal Latent Dirichlet Allocation and Bayesian Hidden Markov Models2016

    • Author(s)
      Muhammad Attamimi, Yuji Ando, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Hideki Asoh
    • Journal Title

      Advanced Robotics

      Volume: 30 Pages: 806-824

    • DOI

      DOI:10.1080/01691864.2016.1172507

    • Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
  • [Presentation] 強化学習を用いたロボットの行動に関する概念獲得への取り組み2017

    • Author(s)
      恒川英里,小林一郎,麻生英樹,持橋大地,中村友昭,長井隆之
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] モンテカルロ木探索を用いた構文木構築に基づく非決定的な文生成2017

    • Author(s)
      熊谷香織,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] 副詞の意味に基づくロボットの動作生成に関する一考察2017

    • Author(s)
      濵園侑美,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] zero-shot学習を用いた言語資源の転移に関する一考察2017

    • Author(s)
      樺山絵里,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-16 – 2017-03-18
  • [Presentation] モンテカルロ木探索を用いた構文木構築に基づく頑健な文生成2017

    • Author(s)
      熊谷香織, 小林一郎, 持橋大地, 麻生英樹, 中村友昭, 長井隆行
    • Organizer
      言語処理学会 第23回年次大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-13 – 2017-03-17
  • [Presentation] 曖昧言語表現に対するロボット動作の対応関係学習2017

    • Author(s)
      濵園侑美, 小林一郎, 麻生英樹, 中村友昭, 長井隆行, 持橋大地
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-13 – 2017-03-17
  • [Presentation] Evaluation of the Sentences Generated Based on Language Model Applied by Zero-shot Learning2016

    • Author(s)
      Eri Kabayama, Muhanmmad Attamimi,Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Year and Date
      2016-10-14 – 2016-10-14
    • Int'l Joint Research
  • [Presentation] An Approach to Making a Plan for Tidying up with the Action Concepts Acquired by Multimodal Information2016

    • Author(s)
      Eri Tsunekawa, Muhanmmad Attamimi,Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Year and Date
      2016-10-14 – 2016-10-14
    • Int'l Joint Research
  • [Presentation] Learning the Correspondence between Distributed Semantics of Words and Robot’s Action2016

    • Author(s)
      Yumi Hamazono, Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Muhanmmad Attamimi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Year and Date
      2016-10-14 – 2016-10-14
    • Int'l Joint Research
  • [Presentation] Continuous Motion Segmentation Based on Reference Point Dependent GP-HSMM2016

    • Author(s)
      Tomoaki Nakamura, Kensuke Iwata, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh and Masahide Kaneko
    • Organizer
      IROS2016: Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Year and Date
      2016-10-14 – 2016-10-14
    • Int'l Joint Research
  • [Presentation] 参照点に依存したガウス過程隠れセミマルコフモデルに基づく連続動作の分節化2016

    • Author(s)
      岩田健輔,中村友昭,長井隆行,持橋大地,小林一郎,麻生英樹
    • Organizer
      日本ロボット学会学術講演会
    • Place of Presentation
      山形
    • Year and Date
      2016-09-07 – 2016-09-09
  • [Presentation] Human-like Natural Language Generation Using Monte Carlro Tree Search2016

    • Author(s)
      Kaori Kumagai, Ichiro Kobayashi, Daichi Mochihashi, Hideki Asoh, Muhanmmad Attamimi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Computational Creativity in Natural Language Generation (CC-NLG)
    • Place of Presentation
      Edinburgh
    • Year and Date
      2016-09-05 – 2016-09-06
    • Int'l Joint Research
  • [Presentation] ガウス過程の隠れセミマルコフモデルに基づく身体動作の分節化2016

    • Author(s)
      中村 友昭, Attamimi Muhammad, 長井 隆行, 持橋 大地, 小林 一郎, 麻生英樹, 金子 正秀
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] 多層マルチモーダルLDAと強化学習による片付け概念獲得への取り組み2016

    • Author(s)
      恒川 英里, Attamimi Muhammad, 小林 一郎, 中村 友昭, 長井 隆行, 麻生英樹, 持橋 大地
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] 人の挙動を表現するテキスト生成の一考察2016

    • Author(s)
      樺山 絵里, 小林 一郎, 麻生 英樹, 持橋 大地, Attamimi Muhammad, 中村友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] 語彙の分散意味表現とロボット動作との対応関係の学習2016

    • Author(s)
      濱園 侑美 小林 一郎 麻生 英樹 持橋 大地 Muhammad Attamimi 中村友昭 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] モンテカルロ木探索を用いた構造的正しさと言語モデルを考慮した文生成2016

    • Author(s)
      熊谷 香織, 持橋 大地, 小林 一郎, 麻生 英樹, Attamimi Muhammad, 中村 友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09
  • [Presentation] 多層マルチモーダルLDAと隠れセミマルコフモデルを用いた概念・語彙・文法の相互学習2016

    • Author(s)
      安東 裕司 Attamimi Muhammad 中村 友昭 長井 隆行 持橋 大地 小林 一郎 麻生 英樹
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06 – 2016-06-09

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi