ロボットを対象とした視聴覚音声認識の研究

2008 年度 研究成果報告書

• 研究課題/領域番号: 19700158
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 東京工業大学
• 研究代表者: 中臺 一博 東京工業大学, 大学院・情報理工学研究科, 客員准教授 (70436715)
• 研究期間 (年度): 2007 – 2008
• キーワード: ロボット聴覚 / 音声認識 / 音楽認識 / 発話区間検出 / 音楽館検出 / 視聴覚統合 / ミッシングフィーチャ理論 / Coarse-to-Fine認識

研究概要

本研究では、実環境でのロボット音声認識を向上させるため、リップリーディングを用いた視聴覚統合、低信頼度の視聴覚情報でも最適な統合を実現するミッシングフィーチャ理論、認識単位を動的に変更するCoarse-to-Fine認識を用いた。この結果、最大50ポイント単語正解率を向上できることを示した。また、研究の過程で得られた課題に対応するため、計画変更を行い、対雑音頑健性および変化への即応性を両立したビートトラッキング手法を開発し、これを用いて歌って踊るロボットを開発した。以上の成果に対して国内外で計4件の賞を受けた。

研究成果

• [雑誌論文] ロボットを対象としたビートトラッキング法の提案とその音楽ロボットへの応用 (2009)
  • 著者名/発表者名: 村田和真, 中臺一博,武田龍,奥乃博, 長谷川雄二, 辻野広司
  • 雑誌名: 日本ロボット学会誌 (掲載決定)
  • 査読あり
• [雑誌論文] The Design of Phoneme Grouping for Coarse Phoneme Recognition (2007)
  • 著者名/発表者名: Kazuhiro Nakadai, Ryota Sumiya, Mikio Nakano, Koichi Ichige, Yasuo Hirose, Hiroshi Tsujino
  • 雑誌名: Lecture Notes in Computer Science, New Trends in Applied Artificial Intelligence vol.4570/2007 ページ: 905-914
  • 査読あり
• [雑誌論文] 情報統合による実環境音環境理解〜マイクロホンアレイ統合による音源追跡〜 (2007)
  • 著者名/発表者名: 中臺一博
  • 雑誌名: 「計測と制御」特集・解説 ロボット聴覚のためのインテグレーション技術 vol.46 ページ: 427-433
  • 査読あり
• [学会発表] 歌唱ロボットのためのビート情報と楽譜情報の統合による音楽音響信号の実時間楽曲位置推定手法の開発 (2009)
  • 著者名/発表者名: 大塚琢馬, 村田和真, 武田龍, 中臺一博, 高橋徹, 尾形哲也, 奥乃博
  • 学会等名: 第71回情報処理学会全国大会
  • 発表場所: 滋賀、日本
  • 年月日: 2009-03-12
• [学会発表] A beat-tracking robot for human-robot interaction and its evaluation (2008)
  • 著者名/発表者名: Kazumasa Murata, Kazuhiro Nakadai, Ryu Takeda, Hiroshi G. Okuno, Toyotaka Torii, Yuji Hasegawa, Hiroshi Tsujino
  • 学会等名: IEEE-RAS Int'l Conf. on Humanoid Robots(Humanoids2008)
  • 発表場所: デジョン、韓国
  • 年月日: 2008-12-02
• [学会発表] ビートトラッキングロボットの構築と評価 (2008)
  • 著者名/発表者名: 村田和真 中臺一博, 武田龍, 奥乃博, 長谷川雄二, 辻野広司
  • 学会等名: 人工知能学会第28回AIチャレンジ研究会
  • 発表場所: 京都、日本
  • 年月日: 2008-11-18
• [学会発表] A Robot Uses Its Own Microphone to Synchronize Its Steps to Musical Beats While Scatting and Singing (2008)
  • 著者名/発表者名: Kazumasa Murata, Kazuhiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
  • 学会等名: IEEE/RSJ Int'l Conf. on Intelligent Robots and Systems(IROS-2008)
  • 発表場所: ニース、フランス
  • 年月日: 2008-09-24
• [学会発表] A Robot Singer with Music Recognition Based on Real-Time Beat Tracking (2008)
  • 著者名/発表者名: Kazumasa Murata, Kazuhiro Nakadai, Kazuyoshi Yoshii, Ryu Takeda, Toyotaka Torii, Hiroshi G. Okuno, Yuji Hasegawa, Hiroshi Tsujino
  • 学会等名: 9th Int'l Conf. on Musical Information Retrieval(ISMIR-2008)
  • 発表場所: フィラデルフィア、アメリカ
  • 年月日: 2008-09-15
• [学会発表] ロボット聴覚のための音声発話区間検出の検討 (2008)
  • 著者名/発表者名: 吉田尚水, 中臺一博
  • 学会等名: 日本ロボット学会第26回学術講演会
  • 発表場所: 神戸、日本
  • 年月日: 2008-09-09
• [学会発表] 人・ロボットインタラクションに向けたビートトラッキングロボットの開発とその評価 (2008)
  • 著者名/発表者名: 村田和真, 中臺一博, 武田龍, 吉井和佳, 奥乃博, 鳥井豊隆, 長谷川雄二, 辻野 広司
  • 学会等名: 日本ロボット学会第26回学術講演会
  • 発表場所: 神戸、日本
  • 年月日: 2008-09-09
• [学会発表] 視聴覚音声認識における唇検出手法の検討 (2007)
  • 著者名/発表者名: 小岩 智明,中臺一博,井村 順一
  • 学会等名: SICEシステムインテグレーション部門大会 SI 2007
  • 発表場所: 広島、日本
  • 年月日: 2007-12-22
• [学会発表] ロボットによるビートトラッキングにおける周期性自己発生音の影響評価 (2007)
  • 著者名/発表者名: 村田和真,吉井和佳,奥乃博,鳥井豊隆,中臺一博, 長谷川雄二
  • 学会等名: SICEシステムインテグレーション部門大会 SI 2007
  • 発表場所: 広島、日本
  • 年月日: 2007-12-22
• [学会発表] Coarse Speech Recognition by Audio-Visual Integration based on Missing Feature Theory (2007)
  • 著者名/発表者名: Tomoaki Koiwa, Kazuhiro Nakadai, Jun-ichi Imura
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS-2007)
  • 発表場所: サンディエゴ、アメリカ
  • 年月日: 2007-10-30
• [学会発表] ロボットを対象とした視聴覚音声認識の検討-音素・口形素グルーピングとミッシングフィーチャー理論に基づくアプローチ- (2007)
  • 著者名/発表者名: 小岩智明, 中臺一博, 井村順一
  • 学会等名: 日本ロボット学会第25回学術講演会
  • 発表場所: 千葉、日本
  • 年月日: 2007-09-14
• [学会発表] Coarse Phoneme Recognition Using Phoneme Grouping and Its Application to Isolated Word Recognition (2007)
  • 著者名/発表者名: Kazuhiro Nakadai, R. Sumiya, K. Ichige, Y. Hirose, M. Nakano, H. Tsujino
  • 学会等名: The 20th Int'l Conf. on Industrial, Engineering & Other Applications of Applied Intelligent Systems(IEA/AIE-2007)
  • 発表場所: 京都、日本
  • 年月日: 2007-06-27
• [備考]
  • URL: http://www.cyb.mei.titech.ac.jp/nakadai/
• [備考] 1.人工知能学会AI-Challenge研究会優秀論文賞(学会発表(3)) 2.IEEE Int'l Conf. on Intelligent Robots and Systems (IROS 2008) New Technology Foundation (NTF) AwardFinalist(学会発表(4)) 3.SICE SI部門大会(SI-2007)ベストセッション賞, 2007(学会発表(9))