音声・画像のマルチモーダル情報協調・情報統合を用いた音声認識の高度化

2008 年度 研究成果報告書

• 研究課題/領域番号: 18700175
• 研究種目: 若手研究(B)
• 配分区分: 補助金
• 研究分野: 知覚情報処理・知能ロボティクス
• 研究機関: 岐阜大学
• 研究代表者: 田村 哲嗣 岐阜大学, 工学部, 助教授 (10402215)
• 研究期間 (年度): 2006 – 2008
• キーワード: マルチモーダル音声認識 / 情報統合 / 情報協調 / マイクロフォンアレー / マルチモーダルVAD

研究概要

本研究では、音声と発声時の口唇動画像を用いたマルチモーダル音声認識において、音声と画像それぞれの情報を相互利用する情報協調手法、および、音声と画像の情報を効果的にまとめる情報統合方法に関するさまざまな検討を通じて、マルチモーダル音声認識の認識性能の向上を試みた。その結果、認識性能の向上を達成しただけでなく、情報協調や情報統合に関する多くの新しい知識を得ることができた。

研究成果

• [学会発表] 実環境における口唇動画像を用いたマルチモーダル音声区間検出 (2009)
  • 著者名/発表者名: 竹内伸一,羽柴隆志,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2009 年春季講演論文集,3-5-8,pp.119-120
  • 年月日: 2009-03-19
• [学会発表] マルチストリームHMM を用いた音声と画像による音声区間検出 (2009)
  • 著者名/発表者名: 羽柴隆志,竹内伸一,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2009 年春季講演論文集,1-P-5,pp.131-132
  • 年月日: 2009-03-17
• [学会発表] 画像特徴量の正規化によるマルチモーダル音声認識の改善 (2008)
  • 著者名/発表者名: 石川雅人,田村哲嗣,速水悟
  • 学会等名: 電子情報通信学会技術研究報告,SP2008-71,vol.108,no.312,pp.7-12
  • 年月日: 2008-11-20
• [学会発表] マルチモーダル音声認識における音声と画像の同期に関する調査 (2008)
  • 著者名/発表者名: 田村哲嗣,石川雅人,速水悟
  • 学会等名: 電子情報通信学会技術研究報告,SP2008-70,vol.108,no.312,pp.1-6
  • 年月日: 2008-11-20
• [学会発表] CENSREC-AV: Evaluation frameworks for audio-visual speech recognition (2008)
  • 著者名/発表者名: 田村哲嗣,宮島千代美,北岡教英,速水悟,武田一哉
  • 学会等名: Proc.AVSP2008,Morton,Australia,pp.51-54
  • 年月日: 2008-09-27
• [学会発表] マイクロフォンアレイによる目的信号スペクトル抽出法の検討 (2008)
  • 著者名/発表者名: 菱川恵利子,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2008 年秋季講演論文集,2-8-15,pp.665-666
  • 年月日: 2008-09-11
• [学会発表] 画像HMM による尤度情報を利用したマルチモーダル音声認識の検討 (2008)
  • 著者名/発表者名: 石川雅人,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2008 年秋季講演論文集,1-1-24,pp.57-58
  • 年月日: 2008-09-10
• [学会発表] 音声と画像のconfusion network を用いたマルチモーダル音声認識 (2007)
  • 著者名/発表者名: 上澤泰,石川雅人,田村哲嗣,速水悟
  • 学会等名: 電子情報通信学会技術研究報告,SP2007-92,vol.107,no.356,pp.37-42
  • 年月日: 2007-11-28
• [学会発表] 音声と画像のCNC によるマルチモーダル音声認識の検討 (2007)
  • 著者名/発表者名: 上澤泰,石川雅人,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2007 年秋季講演論文集,2-8-2,pp.111-112
  • 年月日: 2007-09-20
• [学会発表] リアルタイムマルチモーダル音声認識の構築に関する検討 (2007)
  • 著者名/発表者名: 田村哲嗣,速水悟
  • 学会等名: 日本音響学会2007 年春季講演論文集,2-9-14,pp.63-64
  • 年月日: 2007-03-14
• [学会発表] SOS とマイクロフォンアレイの統合による会議記録システムの開発 (2006)
  • 著者名/発表者名: 木村文彦,近藤功一,田村哲嗣,速水悟,山本和彦
  • 学会等名: 情報処理学会研究報告,2006-SLP-63-2,vol.2006,no.107,pp.7-12
  • 年月日: 2006-10-20
• [学会発表] マルチモーダル音声認識のためのアクションユニットによる画像情報の改善 (2006)
  • 著者名/発表者名: 上澤泰,田村哲嗣,速水悟
  • 学会等名: 日本音響学会2006 年秋季講演論文集,1-2-25,pp.49-50
  • 年月日: 2006-09-13
• [備考] ホームページ等
  • URL: http://hym.info.gifu-u.ac.jp/~tamura/multimodal.html