Improvement of audio-visual speech recognition using multi-modal cooperation and integration techniques
Project/Area Number |
18700175
|
Research Category |
Grant-in-Aid for Young Scientists (B)
|
Allocation Type | Single-year Grants |
Research Field |
Perception information processing/Intelligent robotics
|
Research Institution | Gifu University |
Principal Investigator |
TAMURA Satoshi Gifu University, 工学部, 助教授 (10402215)
|
Project Period (FY) |
2006 – 2008
|
Project Status |
Completed (Fiscal Year 2008)
|
Budget Amount *help |
¥3,650,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥150,000)
Fiscal Year 2008: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2007: ¥600,000 (Direct Cost: ¥600,000)
Fiscal Year 2006: ¥2,400,000 (Direct Cost: ¥2,400,000)
|
Keywords | マルチモーダル音声認識 / 情報統合 / 情報協調 / マイクロフォンアレー / マルチモーダルVAD / 音声認識 / マルチモーダル / 音声区間検出 / 画像特徴量 / カメラアレー / リアルタイム |
Research Abstract |
本研究では、音声と発声時の口唇動画像を用いたマルチモーダル音声認識において、音声と画像それぞれの情報を相互利用する情報協調手法、および、音声と画像の情報を効果的にまとめる情報統合方法に関するさまざまな検討を通じて、マルチモーダル音声認識の認識性能の向上を試みた。その結果、認識性能の向上を達成しただけでなく、情報協調や情報統合に関する多くの新しい知識を得ることができた。
|
Report
(4 results)
Research Products
(21 results)