高い雑音下での単語認識のための実時間読唇システムの構成に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 12650427
• Research Institution: Tottori University
• Principal Investigator: 菅原 一孔 鳥取大学, 工学部・電気電子工学科, 助教授 (90149948)
• Co-Investigator(Kenkyū-buntansha): 小西 亮介 鳥取大学, 工学部・電気電子工学科, 教授 (00032269)
• Keywords: 音声認識 / 唇形状の時間変化 / FPGA / 動的輪郭モデル / 隠れマルコフモデル

Research Abstract

ロボット技術が進展するにつれ,これまでのようにあらかじめ定められた作業行程のみを機械が単独に繰り返し行うのではなく,人の指示を受けながら人が行う作業を補助する働きをするものが大変有効であることが認識されつつある.このような際の人とロボットが行う情報交換の手段にはいくつかの方法が考えられるが,そのなかでも言葉を利用することは,人にとって特に訓練を行わなくてもよいことや,特別な道具を利用しなくてもよいことなどの点から大変有効な手段であることがわかる.
この点音声認識に関する研究は,従来から各所で盛んに行われているが,ロボットの利用を必要とする場面のように周囲の雑音が大変大きい環境では,十分に音声を認識できないという基本的な問題がいまだに解決できていない.本研究計画では,このような高雑音環境下での単語認識を実現する1つの手段として,視覚情報である唇の動きを実時間で取り込みながらそれを認識することにより,人が発する単語の認識を行うことを考える.これは人がいわゆる「読唇」によって,ある程度言葉を理解できることを考えれば実現性のある方法といえる.この方法によると周囲の雑音に影響されない単語認識システムを構築することができるだけでなく,先に述べたような人にとって特別な訓練や道具を必要としない柔軟なヒューマン・マシンインターフェイスを実現することができる.
本研究計画期間内には,上で述べた唇の動きから単語を認識するシステムを構築する.そのために初年度にあたる今年度は,人の発話中の顔画像を実時間で取り込み,それから唇の動きを抽出する手法について検討し,そのハードウエア化を試みた.開発を試みたハードウエアはFPGAと呼ばれる内部構造を自由に設計できる集積回路を中心に,プリント基板上に実現するものとした.FPGA中には動的輪郭モデルとよばれる,画像の輪郭を高速に抽出することができる回路を実現し,その結果現状では試作ではあるが画像1枚あたり平均で3ミリ秒で処理することができた.これは日本で標準のNTSCと呼ばれるビデオ信号の規格で定められるフレーム間の間隔が33ミリ秒であることを考えると,大変高速であり実時間処理ができることが実証された.来年度はこの方法を利用して,高い雑音下でも正確に人の発話を検出できるよう,唇の動きの変化を捉えることによる発話区間の自動抽出手法について検討する.続いて,発話中の唇の動きを表現する各種のパラメータについて考察を加えた後,それを用いた認識手法を確立し,最後にこれらの技術を総合して実時間読唇システムを構築する.

Research Products

• [Publications] 菅原一孔: "パーソナルコンピュータ上での読唇システムの実時間実現"計測自動制御学会論文誌. 36. 1145-1151 (2000)
• [Publications] Kazunori SUGAHARA: "Personal Computer Based Real Time Lip Reading System"2000 5th.Int.Conf.Signal Processing. 1341-1346 (2000)
• [Publications] 菅原一孔: "画像情報を取り入れた単語認識システムの実時間実現"電子情報通信学会技術研究報告. PRMU-269. 57-63 (2000)