2011 Fiscal Year Research-status Report
読唇者モデルをベースとした日本語機械読唇システムに関する研究
| Project/Area Number |
23700672
|
|---|
| Research Institution | Kanagawa Institute of Technology |
|---|
Principal Investigator |
宮崎 剛 神奈川工科大学, 情報学部, 准教授 (20329634)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | 機械読唇 / 口形検出 / 聴覚障がい者支援 / 動画像認識 |
|---|
| Research Abstract |
平成２３年度は，顔が映っている画像から口唇領域を抽出するための"口唇領域抽出モジュール"と，発話中の特徴的口形を検出する"口形検出モジュール"を構築した．口形検出モジュールについては，"画像ベース手法"と呼ばれる方法で構築した．具体的には，あらかじめ撮影しておいた口形画像を，発話映像の口形画像と照らし合わせて類似度を測り（この方法を，"テンプレートマッチング"とよぶ），そこから口形を推測する方法である．これまでは，口唇領域のみを撮影して口形の推測を行っていたが，より実際の利用に近づけるため，顔全体が映っている画像から口形を推測できるようにした．しかし，顔全体の画像から口形のテンプレートマッチングを効率よく行うためには，画像の中から口唇領域を検出する必要がある．そこで，本研究では，一般に利用されている顔検出の方法を導入し，検出された顔領域から口唇領域を割り出すようにした．これにより，顔が映っている画像から口形を推測することが可能となった．なお，口唇領域を割り出す際，当初は口唇の色を利用する方法や，口角等の特徴点を検出する方法を考えていたが，前者は照明の影響を受けやすく，後者は正確な口角位置の検出に時間がかかるため，平成２３年度は評価しなかった．一方，口形を検出するために，"オプティカルフロー"と呼ばれる方法を取り入れ，発話中の口唇の移動距離を計測した．これにより，口唇の動きに関する情報を利用できるようになり，口形の誤認識を減らす結果となった．１名の被験者による発話実験において，平均約４％あった誤認識がなくなり，口形の検出率も約７４％から約８３％へ，約９％改善できたため，平成２３年度の目標は達成できたと考える．今後は，オプティカルフローの口唇の動き情報だけでなく，動きの方向に関する情報も加味することで，さらなる改善が期待できると考えられる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２３年度の目標は，顔画像から口唇領域を検出するモジュールと画像ベース手法を用いた口形検出モジュールの構築を行い，評価することであった．その結果，それぞれのモジュールは構築でき，その評価においても，以前より検出率が改善されたため，現在のところ，研究は順調に進んでいると言える．また，今回の評価から，さらなる検出率の改善方法の目処も立ったため，今年度の発展も期待できる．
|
| Strategy for Future Research Activity |
平成２３年度に作成したモジュールに対して，研究で明らかになった改善策を行い，口形検出の評価を実施する．また，同時に，口角などの特徴点や唇の輪郭情報などを利用した，モデルベースと呼ばれる手法を行うモジュールを構築し，その評価を行う．その後，画像ベース手法とモデルベース手法で口形検出の比較実験を実施し，各手法の評価をする．実験の被験者には，研究室の卒業研究生１０名程度へ依頼をする．そして，得られた実験結果を分析し，目標とする口形検出率９０％以上となるよう，モジュールの改善を行い，口形検出手法を検討する．そして，ここまでに得られた成果をまとめ，国内外の学会等で発表する．その後，発話単語認識モジュールの作成に取りかかる．このモジュールでは，検出した口形の順序と単語ＤＢ内の口形順序コード（口形を記号化し，発話時に形成される口形を順に並べた記号列）から，パターンマッチングによって発話候補となる単語をリストアップする．このとき，各単語に対する近似度等を算出し，発話候補の順位付けを行う．そのための近似度の計算方法を検討する．そして，被験者を用いた発話単語の認識実験を実施する．得られた実験結果を分析し，発話単語の認識率を評価すると共に，研究成果をまとめ，論文誌や会議等で発表を行う．
|
| Expenditure Plans for the Next FY Research Funding |
次年度は，モデルベース手法のモジュールを作成するために，書籍や雑誌，論文を購入する．そのために，１５万円を使用する．また，プログラムを作成するためのＣコンパイラ（継続契約）に４万円使用する．次に，研究成果を発表するための旅費と宿泊費に２０万円，学会に参加するための費用に１１万円使用する．海外の学会へ論文を投稿するために，論文の英訳を依頼するための費用として１０万円使用する．
|
