聴覚インタラクションの実現に向けた実環境ロボット聴覚の研究

• Project Area: Founding a creative society via collaboration among humans and robots
• Project/Area Number: 24118702
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 中臺 一博 東京工業大学, 情報理工学(系)研究科, 連携教授 (70436715)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000); Fiscal Year 2013: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2012: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
• Keywords: ロボット聴覚 / 音環境理解 / 自己雑音抑圧 / 人ロボット共生学 / マイクロホンアレイ処理 / ノンパラメトリックベイズモデル

Research Abstract

人とロボットが実環境で，より自然にインタラクションを行う「人ロボット共生のための聴覚インタラクション」実現のため，実環境ロボット聴覚技術を開発することを目的とし，当該年度は，個別基礎技術の洗練化とその統合技術に取り組んだ．
（１） 実環境ロボット聴覚のためのセンサ同期技術については，自己雑音推定技術のロボット実機上での評価にフォーカスをあて研究を行った．非負値行列分解をノンパラメトリックベイズモデルを用いて拡張した自己雑音抑圧は，マイクロホン１本で，動作リファレンスを必要としない手法であるため，①マイクロホン間同期処理，②音―動作間同期処理が不要になるというメリットがある．まず，移動台車付ヒューマノイドロボット Hearboで，従来手法の中で高い性能が報告されているテンプレート法と比較を行ったところ，信号対雑音比，信号対妨害音比において，従来手法を上回る性能を確認できた．また，実際に人ロボット共生学のターゲットロボットの一つであるRovbovie Wを用いて評価を行ったところ，Hearbo とほぼ同等の性能が得られた．Robovie W は関節角情報が得られないため，従来法は適用できないことを考慮すると，提案法は，高性能かつ適用範囲が広いといえる．
（２）よい聞き手ロボット構築のための実環境ロボット聴覚技術については，これまで研究開発を行ってきた，①音声の聞き分けを行うためのノンパラメトリックベイズモデルに基づく音源同定手法，および，② 音環境理解のためのマイクロホンアレイを用いた定位・分離・認識の統合技術を構築し，オープンソースのロボット聴覚ソフトHARK上で動作可能とした．さらに，③ 可視化技術に関しては，千葉大学大武研究室と共同で，卓上型マイクロホンアレイ「くらげ君」を開発し，上述のHARKを動作させることで，発話の方向やタイミングを，直感的でわかりやすく視覚化するツールを構築した．

Current Status of Research Progress

Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] クワドロコプター搭載のマイクロホンアレイを用いた 屋外音環境理解の逐次雑音推定による向上 (2013)
  • Author(s): 奥谷啓太, 吉田尚水, 中村圭佑, 中臺一博
  • Journal Title: 日本ロボット学会誌 Volume: 31(7) Pages: 676-683
  • NAID: 10031194247
  • Peer Reviewed
• [Journal Article] クワドロコプター搭載のマイクロホンアレイを用いた屋外音環境理解の逐次雑音推定による向上 (2013)
  • Author(s): 奥谷啓太, 吉田尚水, 中村圭佑, 中臺一博
  • Journal Title: 日本ロボット学会誌 Volume: 31(7-8)
  • NAID: 10031194247
  • Peer Reviewed
• [Journal Article] 混合音を聞き分けるセンシング技術 (2012)
  • Author(s): 奥乃 博, 中臺 一博, 水本 武志
  • Journal Title: 電子情報通信学会学会誌 Volume: 95 (5) Pages: 401-405
  • NAID: 110009445370
  • Peer Reviewed
• [Journal Article] Audio-Visual Voice Activity Detection Based on an Utterance State Transition Model (2012)
  • Author(s): K. Nakadai, T. Yoshida
  • Journal Title: Advanced Robotics Volume: 26(10) Issue: 10 Pages: 1183-1201
  • DOI: 10.1080/01691864.2012.687152
  • Peer Reviewed
• [Journal Article] SLAM-based Online Calibration for Asynchronous Microphone Array (2012)
  • Author(s): H. Miura, T. Yoshida, K. Nakamura, K.Nakadai
  • Journal Title: Advanced Robotics Volume: 26(17) Issue: 17 Pages: 1941-1965
  • DOI: 10.1080/01691864.2012.728690
  • Peer Reviewed
• [Presentation] Ego-Motion Noise Suppression for Robots Based on Semi-Blind Infinite Non-Negative Matrix Factorization (2014)
  • Author(s): Taiki Tezuka, Takami Yoshida, Kazuhiro Nakadai
  • Organizer: IEEE International Conference on Robotics and Automation
  • Place of Presentation: 香港（中国）
• [Presentation] マイクロホンアレイの位置推定によるホース型ロボットの姿勢推定 (2014)
  • Author(s): 坂東宜昭, 大塚琢馬, 糸山克寿, 昆陽雅司, 田所諭, 中臺一博, 奥乃博
  • Organizer: 情報処理学会 第７６回全国大会
  • Place of Presentation: 東京電機大学（東京）
• [Presentation] 聴覚を中心としたロボットの環境認識技術 (2014)
  • Author(s): 中臺一博, 中村圭佑, 手塚太貴
  • Organizer: 電子情報通信学会総合大会
  • Place of Presentation: 新潟大学（新潟）
  • Invited
• [Presentation] チューブ型ロボットの姿勢推定のためのEKF-SLAMを用いた可変マイクロホンアレイ 位置推定 (2013)
  • Author(s): 坂東 宣昭, 水本 武志, 中臺 一博, 奥乃 博
  • Organizer: 情報処理学会第75回全国大会
  • Place of Presentation: 東北大学（宮城）
  • Year and Date: 2013-03-06
• [Presentation] 話者ダイアライゼーションシステムのための音声区間検出および到来方向推定の精度向上の検討 (2013)
  • Author(s): 黄 楊暘, 大塚 琢馬, 中臺 一博, 奥乃 博
  • Organizer: 情報処理学会第75回全国大会
  • Place of Presentation: 東北大学（宮城）
  • Year and Date: 2013-03-06
• [Presentation] クワドロコプタを用いた屋外環境音源探索 (2013)
  • Author(s): 大畑琢磨, 手塚太貴, 中村圭佑, 水本武志, 中臺一博
  • Organizer: 第14回計測自動制御学会システムインテグレーション部門講演会
  • Place of Presentation: 神戸国際会議場（兵庫）
• [Presentation] Semi-Blind Infinite NMF を用いた動作雑音抑圧手法の提案とその評価 (2013)
  • Author(s): 手塚太貴, 吉田尚水, 中臺一博
  • Organizer: 第38回人工知能学会 AI チャレンジ研究会
  • Place of Presentation: 早稲田大学（東京）
• [Presentation] Semi-Blind Infinite NMFを用いたロボットの動作雑音抑圧手法の検討 (2013)
  • Author(s): 手塚太貴, 吉田尚水, 中臺一博
  • Organizer: 第31回日本ロボット学会学術講演会
  • Place of Presentation: 首都大学東京（東京）
• [Presentation] Development of a Sound Source Localization System for Assisting Group Conversation (2013)
  • Author(s): M. Otake, N. Myagmarbayar, S. Moon, K. Takagi, T. Kamashima, K. Nakadai
  • Organizer: International Conference on Intelligent Robotics and Applications
  • Place of Presentation: 釜山（韓国）
• [Presentation] A Speaker Diarization System with Robust Speaker Localization and Voice Activity Detection (2013)
  • Author(s): YangYang Huang, Takuma Otsuka, Hiroshi G. Okuno
  • Organizer: International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems
  • Place of Presentation: アムステルダム（オランダ）
• [Presentation] Improved Sound Source Localization and Front-Back Disambiguation for Humanoid Robots with Two Ears (2013)
  • Author(s): Ui-Hyun Kim, Kazuhiro Nakadai, Hiroshi G. Okuno
  • Organizer: International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems
  • Place of Presentation: アムステルダム（オランダ）
• [Presentation] グループ会話支援のための音源定位システムの開発 (2013)
  • Author(s): ムンソンウン, 高木健太郎, 釜島力, 中臺一博, 大武美保子
  • Organizer: ロボティクス・メカトロニクス講演会
  • Place of Presentation: つくば国際会議場（茨城）
• [Presentation] Active Audio-Visual Integration for Robots (2013)
  • Author(s): K. Nakadai, T. Yoshida
  • Organizer: The 2nd Symposium on Binaural Active Audition for Humanoid Robots (BINAAHR)
  • Place of Presentation: 京都大学（京都）
  • Invited
• [Presentation] ロボットを対象とした動作指令値ベース動作雑音抑圧手法の検討 (2012)
  • Author(s): 手塚 大貴，吉田 尚水，中臺 一博
  • Organizer: 第13回計測自動制御学会システムインテグレーション部門講演会
  • Place of Presentation: 福岡国際会議場(福岡)
  • Year and Date: 2012-12-18
• [Presentation] Active Audio-Visual Integration for Voice Activity Detection based on a Causal Bayesian Network (2012)
  • Author(s): T. Yoshida, K. Nakadai
  • Organizer: the 2012 IEEE RAS International Conference on Humanoid Robots (Humanoids 2012)
  • Place of Presentation: 大阪産業創造館（大阪）
  • Year and Date: 2012-11-29
• [Presentation] Outdoor Auditory Scene Analysis Using a Moving Microphone Array Embedded in a Quadrocopter (2012)
  • Author(s): K. Okutani, T. Yoshida, K. Nakamura, K. Nakadai
  • Organizer: 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2012),
  • Place of Presentation: ビラモウラ（ポルトガル）
  • Year and Date: 2012-10-07
• [Presentation] マイクロホンアレイを用いた複数人対話からの発話区間検出 および話者方向推定の評価手法 (2012)
  • Author(s): 黄 楊暘, 大塚 琢馬, 中臺 一博, 奥乃 博
  • Organizer: 第30回日本ロボット学会学術講演会
  • Place of Presentation: 札幌コンベンションセンター（北海道）
  • Year and Date: 2012-09-17
• [Presentation] クワドロコプタを用いた屋外音環境理解の逐次雑音推定による向上 (2012)
  • Author(s): 奥谷 啓太，吉田 尚水，中村 圭佑，中臺 一博
  • Organizer: 第30回日本ロボット学会学術講演会
  • Place of Presentation: 札幌コンベンションセンター（北海道）
  • Year and Date: 2012-09-17
• [Presentation] ロボット聴覚のための因果モデルを用いたアクティブ視聴覚統合発話区間検出の検討 (2012)
  • Author(s): 吉田 尚水，中臺 一博
  • Organizer: 第30回日本ロボット学会学術講演会
  • Place of Presentation: 札幌コンベンションセンター（北海道）
  • Year and Date: 2012-09-17
• [Presentation] 視覚情報との統合による音声区間検出および音声認識精度向上の検討 (2012)
  • Author(s): 黄 楊暘, 大塚 琢馬, 中臺 一博, 奥乃 博
  • Organizer: 人工知能学会 第36回 AI-Challenge 研究会
  • Place of Presentation: 慶応大学（東京）
• [Presentation] アクティブ視聴覚統合による発話区間検出の検討: 因果モデルベースアプローチ (2012)
  • Author(s): 吉田 尚水，中臺 一博
  • Organizer: 人工知能学会 第36回 AI-Challenge 研究会
  • Place of Presentation: 慶応大学（東京）
• [Presentation] グループ会話支援のためのワイヤレスマイクロホンアレイ「くらげクン2号」の開発 (2012)
  • Author(s): ムン ソンウン，高木 健太郎，釜島 力，中臺 一博，大武 美保子
  • Organizer: 人工知能学会 第36回 AI-Challenge 研究会
  • Place of Presentation: 慶応大学（東京）
• [Remarks] ロボット聴覚オープンソースソフトウェアHARKのページ
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [Remarks] 東京工業大学 大学院 情報理工学研究科 中臺研究室HP
  • URL: http://www.cyb.mei.titech.ac.jp/nakadai/
• [Remarks] ロボット聴覚オープンソースソフトウェアHARKのページ
  • URL: http://winnie.kuis.kyoto-u.ac.jp/
• [Remarks] 東京工業大学 大学院 情報理工学研究科 中臺研究室HP
  • URL: http://www.cyb.mei.titech.ac.jp/nakadai/