高雑音下における実時間読唇ヒューマン・マシンインターフェイスの開発に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15500070
• Research Institution: Tottori University
• Principal Investigator: 菅原 一孔 鳥取大学, 工学部・知能情報工学科, 教授 (90149948)
• Co-Investigator(Kenkyū-buntansha): 川村 尚生 鳥取大学, 工学部・知能情報工学科, 助教授 (10263485) ; 小西 亮介 鳥取大学, 工学部・電気電子工学科, 教授 (00032269)
• Keywords: 読唇システム / ヒューマン・マシンインターフェイス / 動的輪郭モデル / 実時間ビデオ信号処理

Research Abstract

近年,ロボット技術が長足に進展した結果,これまでのように定められた作業行程のみを機械が単独に繰り返し行うのではなく,人の指示を受けながら人が行う作業を補助する働きをするものが有効であることが認識されつつある.このような際の人とロボットが行う情報交換の手段にはいくつかの方法が考えられるが,そのなかでも言葉を利用することは,人にとって特に訓練を行わなくてもよいことや,特別な道具を利用しなくてもよいことなどの点から大変有効な手段である.
この点,音声認識に関する研究は,従来から各所で盛んに行われているが,ロボットの利用を必要とする場面のように周囲の雑音が大変大きい環境では,十分に音声を認識できないという基本的な問題がいまだに解決できていない.本研究計画では,このような高雑音環境下での単語認識を実現する1つの手段として,視覚情報である唇の動きを実時間で取り込みながらそれを認識することにより,人が発する単語の認識を行うことを考える.これは,人がいわゆる「読唇」によって,ある程度言葉を理解できることを考えれば現実的な方法といえる.この方法によると周囲の雑音に影響されない単語認識システムを構築することができるだけでなく,先に述べたような人にとって特別な訓練や道具を必要としない柔軟なヒューマン・マシンインターフェイスを実現することができると期待される.
本研究計画期間の初年度にあたる今年度は,人の発話中の顔画像を実時間で取り込み,それから唇の動きを抽出する手法について検討し,そのハードウエア化を試みた.開発を試みたハードウエアはFPGAと呼ばれる内部構造を自由に設計できる集積回路を中心に,プリント基板上に実現するものとした.FPGA中には動的輪郭モデルとよばれる,画像の輪郭を高速に抽出することができる回路を実現し,その結果現状では試作ではあるが画像1枚あたり平均で3ミリ秒で処理することができた.これは日本で標準のNTSCと呼ばれるビデオ信号の規格で定められるフレーム間の間隔が33ミリ秒であることを考えると,大変高速であり実時間処理ができることが実証された.
研究計画2年目の来年度は今年度の研究結果に基づき,高い雑音下でも正確に人の発話を検出できるよう,唇の動きの変化を捉えることによる発話区間の自動抽出手法について検討する予定である.その後,発話中の唇の動きを表現する各種のパラメータについて考察を加えた後,それを用いた認識手法を確立し,最後にこれらの技術を総合して実時間読唇システムの構築を試みる.

Research Products

• [Publications] 佐々木 悠介: "動的輪郭モデルのハードウエア化と唇形状抽出への応用について"IEEE HISSシンポジュウム論文集. 211-212 (2003)
• [Publications] 山本 貴彦: "ハードウエア実現された顔領域特定アルゴリズムについて"IEEE HISSシンポジュウム論文集. 213-214 (2003)
• [Publications] 山本 貴彦: "ハードウエア実現された顔領域特定アルゴリズムについて"電気学会情報システム研究会資料. IS-04-26. 25-30 (2004)