意思決定理論に基づくロボットの言語と動作によるコミュニケーションの能動的学習

• Project Area: Elucidation of neural computation for prediction and decision making: toward better human understanding and applications
• Project/Area Number: 24120526
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Kyoto University (2013); National Institute of Information and Communications Technology (2012)
• Principal Investigator: 岩橋 直人 京都大学, 情報学研究科, 研究員 (90394999)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥12,090,000 (Direct Cost: ¥9,300,000、Indirect Cost: ¥2,790,000); Fiscal Year 2013: ¥6,110,000 (Direct Cost: ¥4,700,000、Indirect Cost: ¥1,410,000); Fiscal Year 2012: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
• Keywords: 知能ロボティクス / 生活支援ロボット / 行動決定 / ユーザ行動予測 / 多層マルチモーダルLＤＡ / 階層ディリクレ過程隠れマルコフモデル / 物体概念学習 / 語彙学習 / 有効共有信念最大化規準

Research Abstract

本研究では、生活支援ロボットと安心して快適にコミュニケーションするために、ユーザの意図や状況を適切に理解し行動する能力をロボット自身が、日常生活空間におけるユーザとのコミュニケーションを通して学習する技術の開発を目的とした。
ユーザの命令は一つの行動に対して様々な形で存在し得るため、ロボットは命令を解釈して適切な行動を決定しなければならない。また音声による命令では、音声認識誤りが生じる可能性がある。こうした状況の中で柔軟に対応できることが、生活支援ロボットに要求される。
開発した手法では、ロボットは、家庭でユーザと共に暮らしていることを想定し、ユーザの音声命令を聞き、ユーザの動作と、動作を行っている際に関連している物体および位置を観測し、ユーザ行動文脈、場所文脈および音声命令を統合し、ロボット自身の行動を決定する。ユーザの行動パターンについては、ユーザが使っている物体を認識しトラッキングすることで動作の分節化を行い、動作時系列（関節角の情報）と物体の関係性を、多層マルチモーダルLatent Dirichlet Allocationによってモデル化し、これの教師なし学習を行った。動作の認識は、分節化された動作の時系列を階層ディリクレ過程隠れマルコフモデルを用いてモデル化することで、また、行動の予測は、学習データからの行動のN-gramを用いてモデル化することで実現した。これらのモデルを統合することにより、現在のユーザの行動を認識し、その後に起こる行動とユーザが使うであろう物体を予測し、それを持ってくるというサービスを実現可能とする。本手法の基礎的な評価として、ノイズのある環境でのロボットの行動決定の評価実験を行い、その実現可能性を示すことに成功した。
なお、手法の開発および評価実験は、連携研究者である電気通信大学の長井隆行准教授と共同で行った。

Current Status of Research Progress

Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Multimodal Object Categorization Based on Hierarchical Dirichlet Process by a Robot (2013)
  • Author(s): 中村友昭
  • Journal Title: Transactions of the Society of Instrument and Control Engineers Volume: 49 Issue: 4 Pages: 469-478
  • DOI: 10.9746/sicetr.49.469
  • NAID: 10031166609
  • ISSN: 0453-4654, 1883-8189
  • Peer Reviewed
• [Journal Article] Correcting Phoneme Recognition Errors in Learning Word Pronunciation through Speech Interaction (2013)
  • Author(s): Xiang Zuo
  • Journal Title: Speech Communication Volume: 55 Issue: 1 Pages: 190-203
  • DOI: 10.1016/j.specom.2012.08.008
  • Peer Reviewed
• [Journal Article] Online Object Categorization Using Multimodal Information Autonomously Acquired by a Mobile Robot (2012)
  • Author(s): Araki.T, Nakamura.T, Nagai.T, Funakoshi.K, Nakario.M, and Iwahashi.N
  • Journal Title: Advanced Robotics Volume: 26 Issue: 17 Pages: 1995-2020
  • DOI: 10.1080/01691864.2012.728693
  • Peer Reviewed
• [Journal Article] ロボットと言語―言語コミュニケーション能力の機械学習 (2012)
  • Author(s): 岩橋直人
  • Journal Title: 人工知能学会誌 Volume: 27 Pages: 563-568
  • Peer Reviewed
• [Presentation] マルチモーダル情報を利用した未知語を含む発話のドメイン選択精度の向上 (2014)
  • Author(s): 高橋裕己, 中野幹生, 岩橋直人，左 祥，船越孝太郎，岡 夏樹, 菅野重樹
  • Organizer: 情報処理学会全国大会
  • Place of Presentation: 東京電機大学，東京
• [Presentation] ユーザ行動の予測と命令解釈の統合に基づくロボットの行動決定手法 (2014)
  • Author(s): アッタミミ ムハンマド, 中村友昭, 長井隆行, 岩橋直人, 奥乃博
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: ひめぎんホール，松山市
• [Presentation] Multimodal Concept and Word learning Using Phoneme Sequences with Errors (2013)
  • Author(s): Tomoaki Nakamura, Takaya Araki, Takayuki Nagai, Shogo Nagasaka, Tadahiro Taniguchi, Naoto Iwahashi
  • Organizer: International Conference on Intelligent Robots and Systems
  • Place of Presentation: Ｔokyo Big Sight, Tokyo, Japan
• [Presentation] マルチモーダルＬＤＡと教師なし形態素解析による認識誤りを含む文章からの概念・語彙獲得 (2013)
  • Author(s): 中村友昭，荒木孝弥，長井隆行，長坂翔吾，谷口忠大，岩橋直人
  • Organizer: 人工知能学会全国大会
  • Place of Presentation: 富山国際会議場，富山市
• [Presentation] 認識誤りを含む音節列からのロボットによる概念形成と語意獲得 (2013)
  • Author(s): 中村友昭，船越孝太郎，長井隆行，長坂翔吾，谷口忠大，岩橋直人
  • Organizer: 計測自動制御学会 システム・情報部門 学術講演会
  • Place of Presentation: ピアザ淡海，大津市
• [Presentation] マルチモーダル情報を用いた未知語を含む発話のドメイン選択 (2013)
  • Author(s): 高橋裕己, 中野幹生, 岩橋直人，左 祥，船越孝太郎，岡 夏樹，菅野重樹
  • Organizer: 計測自動制御学会 システムインテグレーション部門講演会
  • Place of Presentation: 神戸国際会議場，神戸市
• [Presentation] 音声命令と行動予測に基づく文脈を考慮したロボットの行動決定 (2013)
  • Author(s): Attamimi Muhammad，長井隆行，岩橋直人，奥乃博
  • Organizer: 計測自動制御学会 システムインテグレーション部門講演会
  • Place of Presentation: 神戸国際会議場，神戸市
• [Presentation] Disambiguation in Unknown Object Detection by Integrating Image and Speech Recognition Confidences (2012)
  • Author(s): Yuko Ozasa
  • Organizer: Asian Conference on Computer Vision
  • Place of Presentation: Daejeon Convention Center, Daejeon, Korea
  • Year and Date: 2012-11-05
• [Presentation] Online Learning of Concepts and Words Using Multimodal Latent Dirichlet Allocation and Hierarchical Pitman-Yor Language Model (2012)
  • Author(s): Takaya Araki
  • Organizer: Int. Conf. Intelligent Robots and Systems
  • Place of Presentation: Hotel Tivoli Marina Vilamoura, Algarve, Portugal
  • Year and Date: 2012-10-07
• [Presentation] Bag of Multimodal Hierarchical Dirichlet Processes: Model of Complex Conceptual Structure for Intelligent Robots (2012)
  • Author(s): Tomoaki Nakamura
  • Organizer: Int. Conf. Intelligent Robots and Systems
  • Place of Presentation: Hotel Tivoli Marina Vilamoura, Algarve, Portugal
  • Year and Date: 2012-10-07
• [Presentation] 確率的フレームワークに基づくロボットによる言語獲得 (2012)
  • Author(s): 岩橋直人
  • Organizer: 日本ロボット学会学術講演会
  • Place of Presentation: 札幌コンベンションセンター、北海道
  • Year and Date: 2012-09-17
  • Invited
• [Remarks] 岩橋直人
  • URL: http://naotoiwahashi.jp/
• [Remarks] 岩橋直人
  • URL: http://naotoiwahashi.jp/