• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

深層学習を用いた大規模な感覚運動データの統合によるロボットの実環境理解

Research Project

Project/Area Number 14J05114
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent robotics
Research InstitutionWaseda University

Principal Investigator

野田 邦昭  早稲田大学, 理工学術院, 特別研究員(DC2)

Project Period (FY) 2014-04-25 – 2015-03-31
Project Status Completed (Fiscal Year 2014)
Budget Amount *help
¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywords深層学習 / ロボット / 感覚運動統合 / 記憶連想 / 視聴覚統合音声認識 / ロボット聴覚
Outline of Annual Research Achievements

本研究は、深層学習を実世界信号処理に応用するための計算モデルを構築し、実環境下で活動するロボット、自動運転車などに将来搭載されることが期待される環境認識技術やヒューマンインターフェースなどを実現する際に直面する、大規模な感覚運動統合学習の問題を解決することを目的とした。これに基づき、深層学習の知見を応用した感覚運動統合メカニズムを提案し、以下の2つの研究成果を得た。
(1)ロボットの感覚運動統合学習:深層学習モデルの持つスケーラビリティの高い特徴量抽出能力により、生の画像データや音響データを直接学習器で扱うことが可能になった。これにより、人間の作り込みによる特徴抽出器に依存せず感覚運動統合学習を実現することが可能になった。提案モデルはロボットの複数物体操作行動の記憶学習タスクによって検証実験を行い、環境の変化に合わせて適切に行動選択を行うことや、画像、音響、運動など複数モーダル間で記憶連想を行うことにより、欠損した情報の補完が可能となることを示した。以上の結果から、実環境下におけるロボットの感覚運動処理において、深層学習が安定的な行動生成と環境認識に貢献することを示した。
(2)視聴覚統合音声認識:従来、音響情報、画像情報それぞれ独立なモーダルについて音声認識への応用研究が進められていた深層学習を統合的に扱うための計算モデルの提案を行った。具体的には、音声データの処理には全結合型の、唇領域画像データの処理には2次元の畳み込み層を持った階層型神経回路モデルを用いた。さらに、視聴覚統合にはマルチストリーム型隠れマルコフモデルを用いることにより、雑音による音響情報の信頼性の低下を画像情報で補完することを可能にした。提案手法により、深層学習の持つ高い汎化能力によってモーダル毎の認識率を向上させるだけでなく、視聴覚統合によって雑音に頑健な音声認識を実現できることを示した。

Research Progress Status

26年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

26年度が最終年度であるため、記入しない。

Report

(1 results)
  • 2014 Annual Research Report
  • Research Products

    (15 results)

All 2015 2014 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (12 results) Remarks (1 results)

  • [Journal Article] Audio-Visual Speech Recognition using Deep Learning2015

    • Author(s)
      Kuniaki NODA, Yuki YAMAGUCHI, Kazuhiro NAKADAI, Hiroshi G. OKUNO, and Tetsuya OGATA
    • Journal Title

      Applied Intelligence

      Volume: 42 Issue: 4 Pages: 722-737

    • DOI

      10.1007/s10489-014-0629-7

    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Multimodal Integration Learning of Robot Behavior using Deep Neural Networks2014

    • Author(s)
      Kuniaki NODA, Hiroaki ARIE, Yuki SUGA, and Tetsuya OGATA
    • Journal Title

      Robotics and Autonomous Systems

      Volume: 62 Issue: 6 Pages: 721-736

    • DOI

      10.1016/j.robot.2014.03.003

    • Related Report
      2014 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] CNNによる画像認識技術を応用したマンガ作家判別システム2014

    • Author(s)
      寺田翔太,野田邦昭,尾形哲也
    • Organizer
      第15回計測自動制御学会システムインテグレーション部門講演会
    • Place of Presentation
      東京ビッグサイト
    • Year and Date
      2014-12-15 – 2014-12-17
    • Related Report
      2014 Annual Research Report
  • [Presentation] 再帰結合型神経回路モデルによる描画像からの描画運動連想2014

    • Author(s)
      佐々木一磨,Hadi Tjandra,野田邦昭,高橋城志,尾形哲也
    • Organizer
      第15回計測自動制御学会システムインテグレーション部門講演会
    • Place of Presentation
      東京ビッグサイト
    • Year and Date
      2014-12-15 – 2014-12-17
    • Related Report
      2014 Annual Research Report
  • [Presentation] Tactile Object Recognition Using Deep Learning and Dropout2014

    • Author(s)
      Alexander SCHMITZ, Yusuke BANSHO, Kuniaki NODA, Hiroyasu IWATA, Tetsuya OGATA, Shigeki SUGANO
    • Organizer
      IEEE-RAS International Conference on Humanoid Robots (Humanoids 2014)
    • Place of Presentation
      HOTEL MELIA CASTILLA 4, Madrid, Spain
    • Year and Date
      2014-11-18 – 2014-11-20
    • Related Report
      2014 Annual Research Report
  • [Presentation] 深層学習を用いたロボットの感覚運動統合と共起性の理解2014

    • Author(s)
      野田邦昭,有江浩明,菅佑樹,尾形哲也
    • Organizer
      日本発達神経科学学会第3回大会
    • Place of Presentation
      東京大学、本郷キャンパス
    • Year and Date
      2014-10-18 – 2014-10-19
    • Related Report
      2014 Annual Research Report
  • [Presentation] Lipreading using Convolutional Neural Network2014

    • Author(s)
      Kuniaki NODA, Yuki YAMAGUCHI, Kazuhiro Nakadai, Hiroshi G. OKUNO, and Tetsuya OGATA
    • Organizer
      Interspeech 2014
    • Place of Presentation
      MAX Atria, Singapore EXPO, Singapore
    • Year and Date
      2014-09-14 – 2014-09-18
    • Related Report
      2014 Annual Research Report
  • [Presentation] Deep Neural Networkを用いたマルチモーダル音声認識2014

    • Author(s)
      野田邦昭,山口雄紀,中臺一博,奥乃博,尾形哲也
    • Organizer
      第32回日本ロボット学会学術講演会
    • Place of Presentation
      福岡県、九州工業大学
    • Year and Date
      2014-09-04 – 2014-09-06
    • Related Report
      2014 Annual Research Report
  • [Presentation] Deep Neural Networkを用いた視覚運動情報の統合化による空間表現の汎化2014

    • Author(s)
      出来寛祥,野田邦昭,尾形哲也
    • Organizer
      第32回日本ロボット学会学術講演会
    • Place of Presentation
      福岡県、九州工業大学
    • Year and Date
      2014-09-04 – 2014-09-06
    • Related Report
      2014 Annual Research Report
  • [Presentation] Deep neural network を用いたヒューマノイドロボットの適応的行動選択2014

    • Author(s)
      野田邦昭,有江浩明,菅佑樹,尾形哲也
    • Organizer
      GPU Technology Conference Japan
    • Place of Presentation
      東京ミッドタウンホール
    • Year and Date
      2014-07-16
    • Related Report
      2014 Annual Research Report
  • [Presentation] Deep neural network を用いた感覚運動統合メカニズムによるヒューマノイドロボットの物体操作行動認識2014

    • Author(s)
      野田邦昭,有江浩明,菅佑樹,尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
    • Place of Presentation
      富山県、富山市総合体育館
    • Year and Date
      2014-05-25 – 2014-05-29
    • Related Report
      2014 Annual Research Report
  • [Presentation] 神経回路モデルと身体バブリングによる道具身体化と道具機能の獲得2014

    • Author(s)
      高橋城志,尾形哲也,Hadi Tjandra,野田邦昭,村田真悟,有江浩明,菅野重樹
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
    • Place of Presentation
      富山県、富山市総合体育館
    • Year and Date
      2014-05-25 – 2014-05-29
    • Related Report
      2014 Annual Research Report
  • [Presentation] Deep neural network による映像・音響・運動データの統合と共起2014

    • Author(s)
      野田邦昭,有江浩明,菅佑樹,尾形哲也
    • Organizer
      第28回人工知能学会全国大会
    • Place of Presentation
      愛媛県、松山市、ひめぎんホール
    • Year and Date
      2014-05-12 – 2014-05-15
    • Related Report
      2014 Annual Research Report
  • [Presentation] 身体バブリングと再帰結合型神経回路モデルによる道具身体化 ~深層学習による画像特徴量抽出~2014

    • Author(s)
      高橋城志,尾形哲也,Hadi Tjandra,野田邦昭,村田真悟,有江浩明,菅野重樹
    • Organizer
      第28回人工知能学会全国大会
    • Place of Presentation
      愛媛県、松山市、ひめぎんホール
    • Year and Date
      2014-05-12 – 2014-05-15
    • Related Report
      2014 Annual Research Report
  • [Remarks] 早稲田大学尾形研究室ホームページ

    • URL

      http://ogata-lab.jp/ja/member_ja/kuniaki-noda-ja.html

    • Related Report
      2014 Annual Research Report

URL: 

Published: 2015-01-22   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi