• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

audio-visual speech recognition for robots

Research Project

Project/Area Number 19700158
Research Category

Grant-in-Aid for Young Scientists (B)

Allocation TypeSingle-year Grants
Research Field Perception information processing/Intelligent robotics
Research InstitutionTokyo Institute of Technology

Principal Investigator

NAKADAI Kazuhiro  Tokyo Institute of Technology, 大学院・情報理工学研究科, 客員准教授 (70436715)

Project Period (FY) 2007 – 2008
Project Status Completed (Fiscal Year 2008)
Budget Amount *help
¥3,480,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥180,000)
Fiscal Year 2008: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2007: ¥2,700,000 (Direct Cost: ¥2,700,000)
Keywordsロボット聴覚 / 音声認識 / 音楽認識 / 発話区間検出 / 音楽館検出 / 視聴覚統合 / ミッシングフィーチャ理論 / Coarse-to-Fine認識 / 音楽区間検出
Research Abstract

本研究では、実環境でのロボット音声認識を向上させるため、リップリーディングを用いた視聴覚統合、低信頼度の視聴覚情報でも最適な統合を実現するミッシングフィーチャ理論、認識単位を動的に変更するCoarse-to-Fine認識を用いた。この結果、最大50ポイント単語正解率を向上できることを示した。また、研究の過程で得られた課題に対応するため、計画変更を行い、対雑音頑健性および変化への即応性を両立したビートトラッキング手法を開発し、これを用いて歌って踊るロボットを開発した。以上の成果に対して国内外で計4件の賞を受けた。

Report

(3 results)
  • 2008 Annual Research Report   Final Research Report ( PDF )
  • 2007 Annual Research Report
  • Research Products

    (28 results)

All 2009 2008 2007 Other

All Journal Article (5 results) (of which Peer Reviewed: 5 results) Presentation (21 results) Remarks (2 results)

  • [Journal Article] ロボットを対象としたビートトラッキング法の提案とその音楽ロボットへの応用2009

    • Author(s)
      村田和真, 中臺一博,武田龍,奥乃博, 長谷川雄二, 辻野広司
    • Journal Title

      日本ロボット学会誌 (掲載決定)

    • NAID

      10025114344

    • Related Report
      2008 Final Research Report
    • Peer Reviewed
  • [Journal Article] The Design of Phoneme Grouping for Coarse Phoneme Recognition2007

    • Author(s)
      Kazuhiro Nakadai, Ryota Sumiya, Mikio Nakano, Koichi Ichige, Yasuo Hirose, Hiroshi Tsujino
    • Journal Title

      Lecture Notes in Computer Science, New Trends in Applied Artificial Intelligence vol.4570/2007

      Pages: 905-914

    • Related Report
      2008 Final Research Report
    • Peer Reviewed
  • [Journal Article] 情報統合による実環境音環境理解〜マイクロホンアレイ統合による音源追跡〜2007

    • Author(s)
      中臺一博
    • Journal Title

      「計測と制御」特集・解説 ロボット聴覚のためのインテグレーション技術 vol.46

      Pages: 427-433

    • NAID

      10019584663

    • Related Report
      2008 Final Research Report
    • Peer Reviewed
  • [Journal Article] The Design of Phoneme Grouping for Coarse Phoneme Recognition2007

    • Author(s)
      Kazuhiro Nakadai, Ryota Sumiya, Mikio Nakano, Koichi Ichige, Yasuo Hirose, Hiroshi Tsujino
    • Journal Title

      Lecture Notes in Computer Science, New Trends in Applied Artificial Intelligence 4570/2007

      Pages: 905-914

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 肺癌統合によ実環境音環境理解〜マイクロホンアレイ統合による音源追跡〜2007

    • Author(s)
      中臺, 一博
    • Journal Title

      「計測と制御」 特集・解説ロボット聴覚のためのインテグレーション技術 46

      Pages: 427-433

    • Related Report
      2007 Annual Research Report
    • Peer Reviewed
  • [Presentation] 歌唱ロボットのためのビート情報と楽譜情報の統合による音楽音響信号の実時間楽曲位置推定手法の開発2009

    • Author(s)
      大塚琢馬, 村田和真, 武田龍, 中臺一博, 高橋徹, 尾形哲也, 奥乃博
    • Organizer
      第71回情報処理学会全国大会
    • Place of Presentation
      滋賀、日本
    • Year and Date
      2009-03-12
    • Related Report
      2008 Annual Research Report 2008 Final Research Report
  • [Presentation] A beat-tracking robot for human-robot interaction and its evaluation2008

    • Author(s)
      Kazumasa Murata, Kazuhiro Nakadai, Ryu Takeda, Hiroshi G. Okuno, Toyotaka Torii, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      IEEE-RAS Int'l Conf. on Humanoid Robots(Humanoids2008)
    • Place of Presentation
      デジョン、韓国
    • Year and Date
      2008-12-02
    • Related Report
      2008 Final Research Report
  • [Presentation] A beat-tracking robot for human-robot interaction and its evaluation2008

    • Author(s)
      Kazumasa Murata, Kazuhiro Nakadai, Ryu Takeda, Hiroshi G. Okuno, Toyotaka Torii, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      IEEE-RAS Int'l Conf. on Humanoid Robots (Humanoids 2008)
    • Place of Presentation
      デジョン、韓国
    • Year and Date
      2008-12-02
    • Related Report
      2008 Annual Research Report
  • [Presentation] ビートトラッキングロボットの構築と評価2008

    • Author(s)
      村田和真 中臺一博, 武田龍, 奥乃博, 長谷川雄二, 辻野広司
    • Organizer
      人工知能学会第28回AIチャレンジ研究会
    • Place of Presentation
      京都、日本
    • Year and Date
      2008-11-18
    • Related Report
      2008 Annual Research Report 2008 Final Research Report
  • [Presentation] A Robot Uses Its Own Microphone to Synchronize Its Steps to Musical Beats While Scatting and Singing2008

    • Author(s)
      Kazumasa Murata, Kazuhiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems(IROS-2008)
    • Place of Presentation
      ニース、フランス
    • Year and Date
      2008-09-24
    • Related Report
      2008 Final Research Report
  • [Presentation] A Robot Uses Its Own Microphone to Synchronize Its Steps to Musical Beats While Scatting and Singing2008

    • Author(s)
      Kazumasa Murata, KazuAiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems (IROS-2008)
    • Place of Presentation
      ニース、フランス
    • Year and Date
      2008-09-24
    • Related Report
      2008 Annual Research Report
  • [Presentation] A Robot Singer with Music Recognition Based on Real-Time Beat Tracking2008

    • Author(s)
      Kazumasa Murata, Kazuhiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      9th Int'l Conf. on Musical Information Retrieval(ISMIR-2008)
    • Place of Presentation
      フィラデルフィア、アメリカ
    • Year and Date
      2008-09-15
    • Related Report
      2008 Final Research Report
  • [Presentation] A Robot Singer with Music Recognition Based on Real-Time Beat Tracking2008

    • Author(s)
      Kazumasa Murata, Kazuhiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
    • Organizer
      9th Int'l Conf. on Musical Information Retrieval (ISMIR-2008)
    • Place of Presentation
      フィラデルフィア、アメリカ
    • Year and Date
      2008-09-15
    • Related Report
      2008 Annual Research Report
  • [Presentation] ロボット聴覚のための音声発話区間検出の検討2008

    • Author(s)
      吉田尚水, 中臺一博
    • Organizer
      日本ロボット学会第26回学術講演会
    • Place of Presentation
      神戸、日本
    • Year and Date
      2008-09-09
    • Related Report
      2008 Annual Research Report 2008 Final Research Report
  • [Presentation] 人・ロボットインタラクションに向けたビートトラッキングロボットの開発とその評価2008

    • Author(s)
      村田和真, 中臺一博, 武田龍, 吉井和佳, 奥乃博, 鳥井豊隆, 長谷川雄二, 辻野 広司
    • Organizer
      日本ロボット学会第26回学術講演会
    • Place of Presentation
      神戸、日本
    • Year and Date
      2008-09-09
    • Related Report
      2008 Annual Research Report 2008 Final Research Report
  • [Presentation] 視聴覚音声認識における唇検出手法の検討2007

    • Author(s)
      小岩 智明,中臺一博,井村 順一
    • Organizer
      SICEシステムインテグレーション部門大会 SI 2007
    • Place of Presentation
      広島、日本
    • Year and Date
      2007-12-22
    • Related Report
      2008 Final Research Report
  • [Presentation] ロボットによるビートトラッキングにおける周期性自己発生音の影響評価2007

    • Author(s)
      村田和真,吉井和佳,奥乃博,鳥井豊隆,中臺一博, 長谷川雄二
    • Organizer
      SICEシステムインテグレーション部門大会 SI 2007
    • Place of Presentation
      広島、日本
    • Year and Date
      2007-12-22
    • Related Report
      2008 Final Research Report
  • [Presentation] 視聴覚音声認識における唇検出手法の検討2007

    • Author(s)
      小岩 智明, 中臺一博, 井村 順一
    • Organizer
      SICE システムインテグレーション部門大会 SI 2007
    • Place of Presentation
      広島、日本
    • Year and Date
      2007-12-22
    • Related Report
      2007 Annual Research Report
  • [Presentation] ロボットによるビートトラッキングにおける周期性自己発生音の影響評価2007

    • Author(s)
      村田 和真, 吉井 和佳, 奥乃 博, 鳥井 豊隆, 中臺 一博, 長谷川 雄二
    • Organizer
      SICE システムインテグレーション部門大会 SI 2007
    • Place of Presentation
      広島、日本
    • Year and Date
      2007-12-22
    • Related Report
      2007 Annual Research Report
  • [Presentation] Robot Audition towards real-world computational auditory scene analysis2007

    • Author(s)
      Kazuhiro Nakadai
    • Organizer
      The 2nd International Symposium on Design of Artificial Environments
    • Place of Presentation
      福岡、日本
    • Year and Date
      2007-11-29
    • Related Report
      2007 Annual Research Report
  • [Presentation] Coarse Speech Recognition by Audio-Visual Integration based on Missing Feature Theory2007

    • Author(s)
      Tomoaki Koiwa, Kazuhiro Nakadai, Jun-ichi Imura
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS-2007)
    • Place of Presentation
      サンディエゴ、アメリカ
    • Year and Date
      2007-10-30
    • Related Report
      2008 Final Research Report
  • [Presentation] Coarse Speech Recognition by Audio-Visual Integration based on Missing Feature Theory2007

    • Author(s)
      Tomoaki Koiwa, Kazuhiro Nakadai, Jun-ichi Imura
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2007)
    • Place of Presentation
      サンディェゴ、アメリカ
    • Year and Date
      2007-10-30
    • Related Report
      2007 Annual Research Report
  • [Presentation] ロボットを対象とした視聴覚音声認識の検討-音素・口形素グルーピングとミッシングフィーチャー理論に基づくアプローチ-2007

    • Author(s)
      小岩智明, 中臺一博, 井村順一
    • Organizer
      日本ロボット学会第25回学術講演会
    • Place of Presentation
      千葉、日本
    • Year and Date
      2007-09-14
    • Related Report
      2008 Final Research Report
  • [Presentation] ロボットを対象とした視聴覚音声認識の検討- 音素・口形素クルービッグとミッシングフィーチヤー理論に基づくアプローチー2007

    • Author(s)
      小岩 智明, 中臺 一博, 井村 順一
    • Organizer
      日本ロボット学会第25回学術講演会
    • Place of Presentation
      千葉、日本
    • Year and Date
      2007-09-14
    • Related Report
      2007 Annual Research Report
  • [Presentation] Coarse Phoneme Recognition Using Phoneme Grouping and Its Application to Isolated Word Recognition2007

    • Author(s)
      Kazuhiro Nakadai, R. Sumiya, K. Ichige, Y. Hirose, M. Nakano, H. Tsujino
    • Organizer
      The 20th Int'l Conf. on Industrial, Engineering & Other Applications of Applied Intelligent Systems(IEA/AIE-2007)
    • Place of Presentation
      京都、日本
    • Year and Date
      2007-06-27
    • Related Report
      2008 Final Research Report
  • [Presentation] Coarse Phoneme Recognition Using Phoneme Grouping and Its Application to Isolated Word Recognition2007

    • Author(s)
      Kazuhiro Nakadai, R. Sumiya, K. Ichige, Y. Hirose, M. Nakano、H. Tsujino
    • Organizer
      The 20th Int'l Conf. on Industrial, Engineering &Other Applications of Applied Intelligent Systems (IEA/AIE-2007)
    • Place of Presentation
      京都、日本
    • Year and Date
      2007-06-27
    • Related Report
      2007 Annual Research Report
  • [Remarks]

    • URL

      http://www.cyb.mei.titech.ac.jp/nakadai/

    • Related Report
      2008 Final Research Report
  • [Remarks] 1.人工知能学会AI-Challenge研究会優秀論文賞(学会発表(3)) 2.IEEE Int'l Conf. on Intelligent Robots and Systems (IROS 2008) New Technology Foundation (NTF) AwardFinalist(学会発表(4)) 3.SICE SI部門大会(SI-2007)ベストセッション賞, 2007(学会発表(9))

    • Related Report
      2008 Final Research Report

URL: 

Published: 2007-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi