視覚から聴覚系へのフィードバック機構に基づく発話解析手法の構築

• 研究課題/領域番号: 21680016
• 研究種目: 若手研究(A)
• 配分区分: 補助金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 京都大学
• 研究代表者: 川嶋 宏彰 京都大学, 情報学研究科, 講師 (40346101)
• 研究期間 (年度): 2009 – 2010
• 研究課題ステータス: 完了 (2010年度)
• 配分額: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円); 2010年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円); 2009年度: 5,980千円 (直接経費: 4,600千円、間接経費: 1,380千円)
• キーワード: 音声推定・分離 / 口唇運動 / 線形システム / ハイブリッドシステム / タイミング構造 / 視聴覚統合 / マルチモダリティ / 時系列の分節化

研究概要

口元の動きと音声の時間同期構造に注目した、新たな発話解析手法を構築した。本手法は、力学系と離散事象系を統合した数理モデルであるハイブリッドシステムを用いることで、カメラとマイクロフォンにより得られる信号をそれぞれ分節化して表現したうえで、両信号間の詳細な時間同期構造モデルを統計的に学習するという特徴を持つ。このモデルを用いることで、「口元の動きから音声」という信号生成機構を実現でき、非定常雑音環境下での高精度な音声分離・推定を可能とした。

研究成果

• [学会発表] Interval-based Modeling of Human Communication Dynamics via Hybrid Dynamical Systems (2010)
  • 著者名/発表者名: H.Kawashima
  • 学会等名: Workshop on Human Communication Dynamics (NIPS WS)
  • 発表場所: Whistler Canada
  • 年月日: 2010-12-10
• [学会発表] Interval-based Modeling of Human Communication Dynamics via Hybrid Dynamical Systems (2010)
  • 著者名/発表者名: Hiroaki Kawashima
  • 学会等名: Workshop on Human Communication Dynamics (NIPS WS)
  • 発表場所: カナダ(ウィスラー)
  • 年月日: 2010-12-10
• [学会発表] Speech Estimation in Non-Stationary Noise Environments Using Timing Structures Between Mouth Movements and Sound Signals (2010)
  • 著者名/発表者名: H.Kawashima
  • 学会等名: Interspeech2010
  • 発表場所: Makuhari Japan
  • 年月日: 2010-09-27
• [学会発表] Speech Estimation in Non-Stationary Noise Environments Using Timing Structure between Mouth Movements and Sound Signals (2010)
  • 著者名/発表者名: Hiroaki Kawashima
  • 学会等名: Interspeech
  • 発表場所: 千葉(幕張)
  • 年月日: 2010-09-27
• [学会発表] 口唇運動-音声間のタイミング構造を利用した非定常雑音環境での発話音声推定 (2010)
  • 著者名/発表者名: 川嶋宏彰
  • 学会等名: 第13回画像の認識・理解シンポジウム(MIRU)
  • 発表場所: 北海道(釧路)
  • 年月日: 2010-07-29
• [備考] ホームページ
  • URL: http://vision.kuee.kyoto-u.ac.jp/~hiroaki/research/
• [備考]
  • URL: http://vision.kuee.kyoto-u.ac.jp/~hiroaki/research/