アクティブ視聴覚統合による動的変化環境下での音環境認識

2012 年度 研究成果報告書

• 研究課題/領域番号: 22700165
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 東京工業大学
• 研究代表者: 中臺 一博 東京工業大学, 大学院・情報理工学研究科, 講師 (70436715)
• 研究期間 (年度): 2010 – 2012
• キーワード: センサ融合 / 統合(ロボット聴覚,アクティブ視聴覚統合,アクティブ聴覚,視聴覚音声認識,視聴覚発話区間検出)

研究概要

ロボットのカメラ・マイクから得られる視聴覚情報をその認識のしやすさ(情報量レベル)に応じて,適切に統合を行い,ロボットの知覚を向上する枠組みを因果ベイズモデルに基づき,提案・構築した.さらに,ロボットの動作をアクティブに制御し,情報量レベル自体を向上させる「アクティブ視聴覚統合」を提案し,構築した枠組みを拡張した.提案した枠組みの有効性を,実機ロボットを用いた音声認識・発話区間検出タスクを通じて実証した.

研究成果

• [雑誌論文] クワドロコプター搭載のマイクロ ホンアレイを用いた屋外音環境理解の逐次雑音推定による向上 (2013)
  • 著者名/発表者名: 奥谷啓太, 吉田尚水, 中村圭佑, 中臺一博
  • 巻: 31(掲載決定)
  • ページ: 7-8
  • 査読あり
• [雑誌論文] Audio-Visual Voice Activity Detection Based on an Utterance State Transition Model (2012)
  • 著者名/発表者名: K. Nakadai, T. Yoshida
  • 雑誌名: Advanced Robotics 巻: 26(10) ページ: 1183-1201
  • DOI: DOI:10.1080/01691864.2012.687152
  • 査読あり
• [雑誌論文] SLAM-based Online Calibration for Asynchronous Microphone Array (2012)
  • 著者名/発表者名: H. Miura, T. Yoshida, K. Nakamura, K.Nakadai
  • 雑誌名: Advanced Robotics 巻: 26(17) ページ: 1941-1965
  • DOI: DOI:10.1080/01691864.2012.728690
  • 査読あり
• [雑誌論文] Whole Body Motion Noise Cancellation of a Robot for Improved Automatic SpeechRecognition (2011)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, H.Tsujino, J. Imura
  • 雑誌名: Advanced Robotics 巻: 25 ページ: 1405-1426
  • DOI: DOI:10.1163/016918611X579448
  • 査読あり
• [雑誌論文] Ego NoiseCancellation of a Robot using MissingFeature Masks (2011)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, H.Tsujino, J. Imura
  • 雑誌名: Applied Intelligence 巻: 34 ページ: 360-371
  • DOI: DOI:10.1007/s10489-011-0285-0
  • 査読あり
• [雑誌論文] ロボット聴覚のための2階層視聴覚情報統合を用いた音声認識システムの検討 (2010)
  • 著者名/発表者名: 吉田尚水, 中臺一博, 奥乃博
  • 雑誌名: 日本ロボット学会誌 巻: 28 ページ: 56-63
  • URL: https://www.jstage.jst.go.jp/article/jrsj/28/8/28_8_970/_pdf
  • 査読あり
• [雑誌論文] Robust Ego Noise Suppression of a Robot (2010)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, H.Tsujino, J. Imura
  • 雑誌名: Trends in Applied Intelligent Systems,Lecture Notes in Computer Science 巻: 6096/2010 ページ: 62-71
  • DOI: DOI:10.1007/978-3-642-13022-9_7
  • 査読あり
• [雑誌論文] An Improvement in Audio-Visual Voice Activity Detection for AutomaticSpeech Recognition (2010)
  • 著者名/発表者名: T. Yoshida, K. Nakadai, H. G. Okuno
  • 雑誌名: Trends in Applied Intelligent Systems, Lecture Notes in Computer Science 巻: 6096/2010 ページ: 51-61
  • DOI: DOI:10.1007/978-3-642-13022-9_6
  • 査読あり
• [学会発表] Active Audio-Visual Integration for Robots (2013)
  • 著者名/発表者名: K. Nakadai, T. Yoshida
  • 学会等名: The 2nd Symposium on Binaural Active Audition for Humanoid Robots (BINAAHR)
  • 発表場所: 京都
  • 年月日: 2013-03-18
• [学会発表] Active Audio-Visual Integration for Voice Activity Detection based on a CausalBayesian Network (2012)
  • 著者名/発表者名: T. Yoshida, K. Nakadai
  • 学会等名: IEEE-RASInternational Conference on HumanoidRobots (Humanoids 2012)
  • 発表場所: 大阪
  • 年月日: 20121129-1215
• [学会発表] Improvement of Audio-Visual Score Following in Robot Ensemble with Human Guitarist (2012)
  • 著者名/発表者名: T. Itohara, K. Nakadai, T. Ogata, H.G.Okuno
  • 学会等名: IEEE-RASInternational Conference on HumanoidRobots(Humanoids 2012)
  • 発表場所: 大阪
  • 年月日: 20121129-1201
• [学会発表] Live Assessment of Beat Tracking for Robot Audition (2012)
  • 著者名/発表者名: J. L. Oliveira, G. Ince, K. Na kamura, K. Nakadai, H.G. Okuno, L. P. Reis, F. Gouyon
  • 学会等名: IEEE/RSJInternational Conference on Intelligent Robots and Systems (IROS-2012)
  • 発表場所: ビラモウラ(ポルトガル)
  • 年月日: 20121007-12
• [学会発表] ロボット聴覚のための因果モデルを用いたアクティブ視聴覚統合発話区間検出の検討 (2012)
  • 著者名/発表者名: 吉田尚水,中臺一博
  • 学会等名: 第30回日本ロボット学会学術講演会
  • 発表場所: 札幌
  • 年月日: 20120917-20
• [学会発表] アクティブ視聴覚統合による発話区間検出の検討:因果モデルベースアプローチ (2012)
  • 著者名/発表者名: 吉田尚水,中臺一博
  • 学会等名: 人工知能学会第36回AI-Challenge研究会
  • 発表場所: 東京
  • 年月日: 2012-11-15
• [学会発表] Audio-VisualIntegration for voice activity detection (2012)
  • 著者名/発表者名: T. Yoshida, K. Nakadai
  • 学会等名: First Symposium on Binaural Active Audition for Humanoid Robots
  • 発表場所: パリ(フランス)
  • 年月日: 2012-02-27
• [学会発表] Incremental Learning for Ego Noise Estimation of a Robot (2011)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, J.Imura, K. Nakamura, H. Nakajima
  • 学会等名: IEEE/RSJInternational Conference onIntelligent Robots and Systems (IROS2011)
  • 発表場所: サンフランシスコ(アメリカ)
  • 年月日: 20110926-27
• [学会発表] Assessment of Single-channel Ego Noise Estimation Methods (2011)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, J.Imura, K. Nakamura, H. Nakajima
  • 学会等名: IEEE/RSJInternational Conference onIntelligent Robots and Systems (IROS2011)
  • 発表場所: サンフランシスコ(アメリカ)
  • 年月日: 20110926-27
• [学会発表] Multi-talker Speech Recognition under Ego-motion Noise using Missing Feature Theory (2011)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, H.Tsujino, J. Imura
  • 学会等名: IEEE/RSJInternational Conference onIntelligent Robots and Systems (IROS2010)
  • 発表場所: 台北(台湾)
  • 年月日: 2011-10-19
• [学会発表] ロボットのための情報量レベルに基づくアクティブ視聴覚統合の検討 (2011)
  • 著者名/発表者名: 吉田尚水, 中村圭佑, 中臺一博
  • 学会等名: 第29回日本ロボット学会学術講演会,日本ロボット学会
  • 発表場所: 東京
  • 年月日: 2011-09-09
• [学会発表] Assessment of General Applicability of Ego Noise Estimation-Applications toAutomatic Speech Recognition and Sound Source Localization (2011)
  • 著者名/発表者名: G. Ince, K. Nakamura, F. Asano, H.Nakajima, K. Nakadai
  • 学会等名: IEEE-RAS International Conference on Roboticsand Automation (ICRA 2011)
  • 発表場所: (上海)中国
  • 年月日: 2011-05-11
• [学会発表] ロボットによる音声 発話区間検出のためのハイブリッドダイナミ カルシステムに基づくモダリティ選択の検討 (2010)
  • 著者名/発表者名: 吉田尚水, 中臺一博
  • 学会等名: 第11回計測自動制御学会システムインテグレーション部門講演会
  • 発表場所: 仙台
  • 年月日: 2010-12-23
• [学会発表] Two-Layered Audio-Visual Speech Recognition for Robots in NoisyEnvironments (2010)
  • 著者名/発表者名: T. Yoshida, K. Nakadai, H.G. Okuno
  • 学会等名: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2010)
  • 発表場所: 台北(台湾)
  • 年月日: 2010-10-19
• [学会発表] Audio-visual speech recognition system for a robot (2010)
  • 著者名/発表者名: T. Yoshida, K. Nakadai
  • 学会等名: International Conference on Auditory-Visual Speech Processing (AVSP 2010)
  • 発表場所: 箱根
  • 年月日: 2010-10-01
• [学会発表] A Robust Speech Recognition System against the Ego Noise of a Robot (2010)
  • 著者名/発表者名: G. Ince, K. Nakadai, T. Rodemann, H.Tsujino, J. Imura
  • 学会等名: InternationalConference on Spoken LanguageProcessing (Interspeech 2010)
  • 発表場所: 千葉
  • 年月日: 2010-09-29
• [学会発表] Two-layered audio-visual integration in voice activity detection and automatic speech recognition for robots (2010)
  • 著者名/発表者名: T. Yoshida, K. Nakadai
  • 学会等名: International Conference on Spoken Language Processing (Interspeech2010)
  • 発表場所: 千葉
  • 年月日: 2010-09-29
• [備考] HARKのページロボット聴覚オープンソースソフトウェア
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [備考] 東京工業大学中臺研究室HP
  • URL: http://www.cyb.mei.titech.ac.jp/nakadai