口形を併用する音声認識と文理解

1988 年度 実績報告書

• 研究課題/領域番号: 63608505
• 研究機関: 大阪大学
• 研究代表者: 田村 進一 大阪大学, 医学部, 教授 (30029540)
• 研究分担者: 黒須 顕二 九州工業大学, 工学部, 教授 (30117303)
• キーワード: 音声認識 / 口形 / 聴覚障害者 / ニューロネットワーク / 画像処理 / 輪郭抽出 / 対称性 / エネルギー関数

研究概要

本研究は口形を音声認識の一つの有効な情報として用いることにより、音声認識の性能向上を図ろうとするものである。そのため、本年度は以下の各項目について研究を行った。
1.ニューロネットワークによる口形併用音声認識
母音を発声したときの口形画像および音声特徴を共に同一ニューロネットに入力し、五つの母音の認識実験を行った。特に不特定話者の音声に対して、音声情報のみによる場合の51%の認識率を口形と音声情報を組み合わせることにより79%に向上できた。
2.エネルギー関数による口形輪郭の抽出
口形輪郭は抽出しにくいことが多い。これは、不十分な輪郭情報しか画像内に存在しないことによる。このようなとき、先験的知識をエネルギー関数の形で表現し、不十分な輪郭情報から輪郭復元を行う正則化プロセスについて考案した。これにより、口紅等をつけない自然な状態のもとで、口形輪郭の抽出が可能となった。また、口唇運動の画像計測の可能性が確かめられた。
高雑音下における口形併用音声認識の能力
実用化の可能性を探るために、モーターの回転音など高騒音下における口形併用音声認識の能力について研究を行った。この場合、処理の高速化のため口形情報は45度前方からのX-Yトラッカーにより得た。雑音の影響により音声情報のみによる認識の正解率はかなりばらついている。特に、発音が近い単語の認識は強い雑音に乱され、認識がほとんどできない状態になっている。そのような状況において、口唇の画像情報を加味すると認識率の向上がはっきり見られた。

研究成果

• [文献書誌] Shinichi,Tamura: Pattern Recognition. 21. 343-353 (1988)
• [文献書誌] 梶見直樹: 情報処理学会第37回全国大会. 3V-7. 1551-1551 (1988)
• [文献書誌] 田村進一: 情報処理学会第37回(昭和63年後期)全国大会. 5W-9. 1643-1643 (1988)
• [文献書誌] 河合秀夫: 情報処理学会第37回(昭和63年後期)全国大会. 3R-7. 1970-1970 (1988)
• [文献書誌] 田村進一: AIとヒューマンインターフェース(関西情報センター). 4.1-4.8 (1989)
• [文献書誌] 梶見直樹: 情報処理学会第38回(平成元年前期)全国大会. 5C-1. 161-161 (1989)
• [文献書誌] 田村進一: "知識情報処理ハンドブックIII編12章 推論手法の統合化と多元知識情報の取扱に関する研究" オーム社, 273-278 (1988)
• [文献書誌] 田村進一 編: "FAのための画像処理技術" 綜文館, 1-626 (1988)
• [文献書誌] 竹谷尚: "昭和63年電気関係学会中国支部連合大会102319" ニューラルネットワークによる位置の正規化学習, 197-197 (1988)
• [文献書誌] 光本浩士: "第28回日本ME学会大会" エネルギー関数によるヒトの角膜内皮、細胞の形状抽出・補完, (1989)
• [文献書誌] 岡崎耕三: "昭和63年度電気関係学会中国支部連合大会102320" ニューラルネットワークによる複数人の口形からの母音識別, 198-198 (1988)
• [文献書誌] 梶見直樹: "昭和63年度電気関係学会中国支部連合大会102318" 対称性拘束を入れたエネルギー関数による口形輪郭の抽出, 196-196 (1988)
• [文献書誌] 田村進一: "関西情報センター 「AIとヒューマンインターフェース」 セミナー資料" ノンバーバルコミュニケーション, 4.1-4.8 (1989)
• [文献書誌] Tadayoshi,Furuta: "The 7th European Annual Conference on Human Decision Making and Manual Control" Machine operation through human voices and lip Movements for the noisy circumstances, (1988)
• [文献書誌] 田村進一: "神経眼科" ニューロコンピュータ, 1988 (5)