• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a robot which can verbalize its sensing information in the latent semantic space and handles the information with language

Research Project

Project/Area Number 26280096
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypePartial Multi-year Fund
Section一般
Research Field Soft computing
Research InstitutionOchanomizu University

Principal Investigator

Kobayashi Ichiro  お茶の水女子大学, 基幹研究院, 教授 (60281440)

Co-Investigator(Kenkyū-buntansha) 麻生 英樹  国立研究開発法人産業技術総合研究所, その他部局等, 研究員 (10344194)
長井 隆行  電気通信大学, 情報理工学(系)研究科, 教授 (40303010)
持橋 大地  統計数理研究所, 大学共同利用機関等の部局等, 准教授 (80418508)
Co-Investigator(Renkei-kenkyūsha) ASOH Hideki  産業技術総合研究所, 人工知能研究センター, 副研究センター長 (10344194)
Project Period (FY) 2014-04-01 – 2017-03-31
Project Status Completed (Fiscal Year 2016)
Budget Amount *help
¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000)
Fiscal Year 2016: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2015: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2014: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywordsマルチモーダル情報 / 言語生成 / 動作生成 / 潜在的意味 / 時系列データ / ロボット / モンテカルロ木探索 / 概念獲得 / 多層マルチモーダルLDA / 言語化 / 潜在的意味解析 / テキスト生成 / 言語的思考 / 知能ロボティクス / ソフトコンピューティング / 知能ロボティックス
Outline of Final Research Achievements

We have worked on five topics: (i) Obtaining the concepts of words and grammar for verbalizing multimodal information (ii) Transfer learning of linguistic resources (iii) Action generation of a robot based on the meaning of language for making a robot act through communicating with language, (iv) Development of natural language generation with Monte Carlo tree search, and (v) Language acquisition for a robot by using reinforcement learning with multimodal information.

Report

(4 results)
  • 2016 Annual Research Report   Final Research Report ( PDF )
  • 2015 Annual Research Report
  • 2014 Annual Research Report
  • Research Products

    (45 results)

All 2017 2016 2015 2014

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (44 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Learning word Meaning and Grammar for Verbalization of Daily Life Activities Using Multilayered Multimodal Latent Dirichlet Allocation and Bayesian Hidden Markov Models2016

    • Author(s)
      Muhammad Attamimi, Yuji Ando, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, and Hideki Asoh
    • Journal Title

      Advanced Robotics

      Volume: 0 Issue: 11-12 Pages: 0-0

    • DOI

      10.1080/01691864.2016.1172507

    • Related Report
      2016 Annual Research Report 2015 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 強化学習を用いたロボットの行動に関する概念獲得への取り組み2017

    • Author(s)
      恒川英里,小林一郎,麻生英樹,持橋大地,中村友昭,長井隆之
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋
    • Year and Date
      2017-03-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた構文木構築に基づく非決定的な文生成2017

    • Author(s)
      熊谷香織,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋
    • Year and Date
      2017-03-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] 副詞の意味に基づくロボットの動作生成に関する一考察2017

    • Author(s)
      濵園侑美,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] zero-shot学習を用いた言語資源の転移に関する一考察2017

    • Author(s)
      樺山絵里,小林一郎,持橋大地,麻生英樹,中村友昭,長井隆行
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-16
    • Related Report
      2016 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた構文木構築に基づく頑健な文生成2017

    • Author(s)
      熊谷香織, 小林一郎, 持橋大地, 麻生英樹, 中村友昭, 長井隆行
    • Organizer
      言語処理学会 第23回年次大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-13
    • Related Report
      2016 Annual Research Report
  • [Presentation] 曖昧言語表現に対するロボット動作の対応関係学習2017

    • Author(s)
      濵園侑美, 小林一郎, 麻生英樹, 中村友昭, 長井隆行, 持橋大地
    • Organizer
      言語処理学会第23回年次大会
    • Place of Presentation
      つくば
    • Year and Date
      2017-03-13
    • Related Report
      2016 Annual Research Report
  • [Presentation] 参照点に依存したガウス過程隠れセミマルコフモデルに基づく連続動作の分節化2016

    • Author(s)
      岩田健輔,中村友昭,長井隆行,持橋大地,小林一郎,麻生英樹
    • Organizer
      日本ロボット学会学術講演会
    • Place of Presentation
      山形
    • Year and Date
      2016-09-07
    • Related Report
      2016 Annual Research Report
  • [Presentation] Human-like Natural Language Generation Using Monte Carlro Tree Search2016

    • Author(s)
      Kaori Kumagai, Ichiro Kobayashi, Daichi Mochihashi, Hideki Asoh, Muhanmmad Attamimi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Computational Creativity in Natural Language Generation (CC-NLG)
    • Place of Presentation
      Edinburgh
    • Year and Date
      2016-09-05
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ガウス過程の隠れセミマルコフモデルに基づく身体動作の分節化2016

    • Author(s)
      中村 友昭, Attamimi Muhammad, 長井 隆行, 持橋 大地, 小林 一郎, 麻生英樹, 金子 正秀
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAと強化学習による片付け概念獲得への取り組み2016

    • Author(s)
      恒川 英里, Attamimi Muhammad, 小林 一郎, 中村 友昭, 長井 隆行, 麻生英樹, 持橋 大地
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 人の挙動を表現するテキスト生成の一考察2016

    • Author(s)
      樺山 絵里, 小林 一郎, 麻生 英樹, 持橋 大地, Attamimi Muhammad, 中村友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 語彙の分散意味表現とロボット動作との対応関係の学習2016

    • Author(s)
      濱園 侑美 小林 一郎 麻生 英樹 持橋 大地 Muhammad Attamimi 中村友昭 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた構造的正しさと言語モデルを考慮した文生成2016

    • Author(s)
      熊谷 香織, 持橋 大地, 小林 一郎, 麻生 英樹, Attamimi Muhammad, 中村 友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAと隠れセミマルコフモデルを用いた概念・語彙・文法の相互学習2016

    • Author(s)
      安東 裕司 Attamimi Muhammad 中村 友昭 長井 隆行 持橋 大地 小林 一郎 麻生 英樹
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉
    • Year and Date
      2016-06-06
    • Related Report
      2016 Annual Research Report
  • [Presentation] ガウス過程の隠れセミマルコフモデルに基づく身体動作の分節化2016

    • Author(s)
      中村 友昭, Attamimi Muhammad, 長井 隆行, 持橋 大地, 小林 一郎, 麻生英樹, 金子 正秀
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAと強化学習による片付け概念獲得への取り組み2016

    • Author(s)
      恒川 英里, Attamimi Muhammad, 小林 一郎, 中村 友昭, 長井 隆行, 麻生英樹, 持橋 大地
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] 語彙の分散意味表現とロボット動作との対応関係の学習2016

    • Author(s)
      濱園 侑美 小林 一郎 麻生 英樹 持橋 大地 Muhammad Attamimi 中村友昭 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] 人の挙動を表現するテキスト生成の一考察2016

    • Author(s)
      樺山 絵里, 小林 一郎, 麻生 英樹, 持橋 大地, Attamimi Muhammad, 中村友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた構造的正しさと言語モデルを考慮した文生成2016

    • Author(s)
      熊谷 香織, 持橋 大地, 小林 一郎, 麻生 英樹, Attamimi Muhammad, 中村 友昭, 長井 隆行
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAと隠れセミマルコフモデルを用いた概念・語彙・文法の相互学習2016

    • Author(s)
      安東 裕司 Attamimi Muhammad 中村 友昭 長井 隆行 持橋 大地 小林 一郎 麻生 英樹
    • Organizer
      第30回人工知能学会全国大会
    • Place of Presentation
      北九州、小倉、北九州国際会議場
    • Year and Date
      2016-06-06
    • Related Report
      2015 Annual Research Report
  • [Presentation] 強化学習を用いた物体の片付けに関する概念獲得への取り組み2016

    • Author(s)
      恒川英里,Attamimi Muhammad,小林一郎,長井隆行,中村友昭,麻生英樹,持橋大地
    • Organizer
      第78回情報処理学会全国大会
    • Place of Presentation
      慶應義塾大学
    • Year and Date
      2016-03-10
    • Related Report
      2015 Annual Research Report
  • [Presentation] 言語モデルを用いた人の動作を説明するテキスト生成およびその評価2016

    • Author(s)
      樺山絵里、麻生英樹、小林一郎、持橋大地、Muhammad Attamimi、中村友昭、長井隆行
    • Organizer
      第22回言語処理学会年次大会
    • Place of Presentation
      東北大学
    • Year and Date
      2016-03-07
    • Related Report
      2015 Annual Research Report
  • [Presentation] 語彙の分散意味に基づくヒューマノイドロボットの動作生成に向けた基礎的検討2016

    • Author(s)
      濱園侑美、小林一郎、麻生英樹、持橋大地、Muhammad Attamimi、中村友昭、長井隆行
    • Organizer
      第22回言語処理学会年次大会
    • Place of Presentation
      東北大学
    • Year and Date
      2016-03-07
    • Related Report
      2015 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた統語情報を考慮した文生成2016

    • Author(s)
      熊谷香織、持橋大地、小林一郎、麻生英樹、Muhammad Attamimi、中村友昭、長井隆行
    • Organizer
      第22回言語処理学会年次大会
    • Place of Presentation
      東北大学
    • Year and Date
      2016-03-07
    • Related Report
      2015 Annual Research Report
  • [Presentation] Evaluation of the Sentences Generated Based on Language Model Applied by Zero-shot Learning2016

    • Author(s)
      Eri Kabayama, Muhanmmad Attamimi,Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An Approach to Making a Plan for Tidying up with the Action Concepts Acquired by Multimodal Information2016

    • Author(s)
      Eri Tsunekawa, Muhanmmad Attamimi,Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Learning the Correspondence between Distributed Semantics of Words and Robot’s Action2016

    • Author(s)
      Yumi Hamazono, Ichiro Kobayashi, Hideki Asoh, Daichi Mochihashi, Muhanmmad Attamimi, Tomoaki Nakamura, and Takayuki Nagai
    • Organizer
      Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Continuous Motion Segmentation Based on Reference Point Dependent GP-HSMM2016

    • Author(s)
      Tomoaki Nakamura, Kensuke Iwata, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh and Masahide Kaneko
    • Organizer
      IROS2016: Workshop on Machine Learning Methods for High-Level Cognitive Capabilities in Robotics
    • Place of Presentation
      Daegeon, Korea
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 人の活動の言語化のための語意と文法の学習2015

    • Author(s)
      アッタミミムハンマド,安東裕司, 中村友昭, 長井隆行, 持橋大地, 小林 一郎, 麻生秀樹
    • Organizer
      計測自動制御学会システム・情報部門学術講演会2015
    • Place of Presentation
      函館、函館アリーナ
    • Year and Date
      2015-11-18
    • Related Report
      2015 Annual Research Report
  • [Presentation] ガウス過程の隠れマルコフモデルによる時系列データ分節化2015

    • Author(s)
      中村友昭, アッタミミムハンマド, 長井隆行, 持橋大地, 小林一郎, 麻生英樹, 金子正秀
    • Organizer
      計測自動制御学会システム・情報部門学術講演会2015
    • Place of Presentation
      函館、函館アリーナ
    • Year and Date
      2015-11-18
    • Related Report
      2015 Annual Research Report
  • [Presentation] Learning Word Meanings and Grammar for Describing Everyday Activities in Smart Environments2015

    • Author(s)
      Muhammad Attamimi, Yuji Ando, Tomoaki Nakamura, Takayuki Nagai, Daichi Mochihashi, Ichiro Kobayashi, Hideki Asoh
    • Organizer
      Empirical Method for Natural Language Processing
    • Place of Presentation
      ポルトガル、Culturgest
    • Year and Date
      2015-09-17
    • Related Report
      2015 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 現象の意味的構造に基づく言語モデルのzero-shot学習の試み2015

    • Author(s)
      樺山 絵里、麻生 英樹、Attamimi Muhammad、小林 一郎、持橋 大地、中村 友昭、長井 隆行
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた確率文脈自由文法に基づくテキスト生成2015

    • Author(s)
      熊谷 香織、持橋 大地、小林 一郎、麻生 英樹、Attamimi Muhammad、中村 友昭、長井 隆行
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] ヒューマノイドロボットの画像認識に基づく行動知識の獲得への取組み2015

    • Author(s)
      恒川 英里、小林 一郎、麻生 英樹、持橋 大地、Attamimi Muhammad、中村 友昭、長井 隆行
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] ヒューマノイドロボットの動作生成に向けた基礎的検討2015

    • Author(s)
      濱園 侑美、小林 一郎、麻生 英樹、持橋 大地、Attamimi Muhammad、中村 友昭、長井 隆行
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAとHMMを用いた文法の学習2015

    • Author(s)
      安東 裕司,Muhammad Attamimi,中村 友昭,長井 隆行,持橋 大地,小林 一郎,麻生 英樹
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] 多層マルチモーダルLDAと強化学習による意味理解に基づく行動決定2015

    • Author(s)
      長井 隆行、中村 友昭、Attamimi Muhammad、持橋 大地、小林 一郎、麻生 英樹
    • Organizer
      第29回人工知能学会全国大会
    • Place of Presentation
      函館、公立はこだて未来大学
    • Year and Date
      2015-05-30
    • Related Report
      2015 Annual Research Report
  • [Presentation] 画像認識に基づくロボットの行動を制御する強化学習の取組み2015

    • Author(s)
      恒川英里、小林一郎、麻生英樹、長井隆行、中村友昭、持橋大地
    • Organizer
      第77回情報処理学会全国大会
    • Place of Presentation
      京都大学
    • Year and Date
      2015-03-17 – 2015-03-19
    • Related Report
      2014 Annual Research Report
  • [Presentation] ロボットの調理動作学習へ向けた取組み2015

    • Author(s)
      濱園侑美、小林一郎、麻生英樹、長井隆行、中村友昭、持橋大地
    • Organizer
      第77回情報処理学会全国大会
    • Place of Presentation
      京都大学
    • Year and Date
      2015-03-17 – 2015-03-19
    • Related Report
      2014 Annual Research Report
  • [Presentation] Zero-shot 学習した言語モデルによるテキスト生成結果の評価2015

    • Author(s)
      樺山絵里、麻生英樹、小林一郎、持橋大地、Muhammad Attamimi、中村友昭、長井隆行
    • Organizer
      第21回言語処理学会年次大会
    • Place of Presentation
      京都大学
    • Year and Date
      2015-03-16 – 2015-03-19
    • Related Report
      2014 Annual Research Report
  • [Presentation] モンテカルロ木探索を用いた確率文脈自由文法に基づくテキスト生成2015

    • Author(s)
      熊谷香織、持橋大地、小林一郎、麻生英樹、Muhammad Attamimi、中村友昭、長井隆行
    • Organizer
      第21回言語処理学会年次大会
    • Place of Presentation
      京都大学
    • Year and Date
      2015-03-16 – 2015-03-19
    • Related Report
      2014 Annual Research Report
  • [Presentation] 日常生活言語化のためのデータ取得システム2014

    • Author(s)
      安東裕司、アッタミミ・ムハンマド、中村友昭、長井隆行、持橋大地、小林一郎、麻生英樹
    • Organizer
      計測自動制御学会
    • Place of Presentation
      東京ビッグサイト
    • Year and Date
      2014-12-15 – 2014-12-17
    • Related Report
      2014 Annual Research Report
  • [Presentation] 獲得した概念階層と語彙に基づく文生成2014

    • Author(s)
      Muhammad Attamimi, 中村友昭、長井隆行、持橋大地、小林一郎、麻生英樹
    • Organizer
      第32回日本ロボット学会学術講演会
    • Place of Presentation
      九州産業大学
    • Year and Date
      2014-09-04 – 2014-09-06
    • Related Report
      2014 Annual Research Report
  • [Presentation] 視覚情報と言語情報の対応づけにおける言語モデルの転移学習2014

    • Author(s)
      麻生英樹、小林一郎
    • Organizer
      日本行動計量学会第42回大会
    • Place of Presentation
      東北大学
    • Year and Date
      2014-09-02 – 2014-09-04
    • Related Report
      2014 Annual Research Report

URL: 

Published: 2014-04-04   Modified: 2018-03-22  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi