| 研究課題/領域番号 |
23700672
|
|---|
| 研究機関 | 神奈川工科大学 |
|---|
研究代表者 |
宮崎 剛 神奈川工科大学, 情報学部, 准教授 (20329634)
|
|---|
| キーワード | 機械読唇 / 口形検出 / 聴覚障害者支援 / 動画像認識 |
|---|
| 研究概要 |
平成２３年度に実施した研究により，口形の検出率が改善された．これは，従来のテンプレートマッチングと呼ばれる方法に加え，口唇周辺の動きを計測するオプティカルフローと呼ばれる方法を利用するようにした結果である．これにより，口形検出を行うべきタイミングをそれまでよりも精度良く検出できることが口形の検出率の向上につながった．
平成２４年度はさらなる口形検出率の改善を目標に研究を実施した．具体的には，次の４項目を実施した．（１）平成２３年度の結果で明らかになった口形検出の改善策をモジュールに組み込み，実験を行った．（２）比較評価のためのモデルベース手法をベースとしたモジュールを作成し，評価を行った．（３）被験者を増やして発話映像から口形を検出する評価を行った．（４）国内外の学会等で研究成果の発表を行った．
（１）については，平成２３年度に作成した口形検出モジュールに改良を加え，口唇の動く方向も同時に計測するようにした．しかしながら，これまで研究を行ってきた撮影のフレームレートでは，口唇の動く方向を検出するには不十分と考え，さらに高いフレームレートで映像を撮影することにした．１秒間に１５０枚の画像を取得し，そこから口形の検出を行うようにした．つぎに，比較評価のための（２）では，口角などの特徴点や口唇の輪郭を検出して口形を検出するモジュールを作成した．その結果，ある程度は口角や口唇輪郭を検出できたが，高い精度で検出するまでの改善はできなかった．本研究では高い精度での検出が必要なため，（１）を優先することとしてこのモジュールの作成は一時中断した．（３）については，１６名の被験者の発話映像を集めることができたため，（１）で作成したモジュールを使用して口形検出の実験を実施した．（４）については，国際会議で１件，国際ジャーナルで１件の研究成果の発表を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
平成２４年度の目標は，次の４点であった．（１）平成２３年度に明らかになった課題の改善を行い，口形検出の評価を行う．（２）モデルベース手法のモジュールを構築し，比較評価を行う．（３）被験者を増やして評価を行う．（４）研究成果を国内外の学会などで発表する．
（４）については，国際会議で１件，国際ジャーナルで１件（掲載決定，現在校正中）の発表を行い，目標は達成できた．（３）についても１６名の被験者から多くの発話データを集めることができ，今後の研究に大いに活用できるものとなった．この点についても目標は達成できた．しかしながら，（１）については，口唇の動きの方向を計測するモジュールを作成して（３）の発話映像を用いて実験を実施するまでにとどまり，データの集計や分析に多くの時間が必要となったため，平成２４年度内に口形検出率の計測，評価にまでは至らなかった．この点について，目標は達成できなかったが，その他の点についてはおおむね達成できたと考える．そして，（２）については，作成したモジュールの口角や口唇輪郭の検出精度が，比較評価を実施できるまでの精度を得るまでには至らなかったため，この点についても目標は達成できなかった．そのため，現在の課題の達成度は当初の予定よりもわずかに遅れている．
|
| 今後の研究の推進方策 |
平成２４年度に達成できなかった１６名の被験者の発話データから口形の検出率を計測し，その評価を行う．そして，当初の目標であった口形検出率９０％以上の実現を最優先とし，実験を繰り返しながら口形検出方法の改善を行う．そして，得られた成果をまとめて国内外の学会等で発表する．
その後，発話単語認識モジュールの作成に取りかかる．このモジュールでは，検出した口形の順序と単語データベース（辞書）内の口形順序コード（口形を記号化し，発話時に形成される口形を順に並べた記号列）から，パターンマッチングによって発話候補となる単語をリストアップする．このとき，各単語に対する近似度等を算出し，発話候補の順序付けを行う．そのための近似度の計算方法を検討する．そして，被験者を用いた発話単語の認識実験を実施する．得られた実験結果を分析し，発話単語の認識率を評価するとともに，これまでの研究成果をまとめ，論文誌や会議等で発表を行う．
|
| 次年度の研究費の使用計画 |
次年度は，口形検出率の向上や語句を識別するためのパターン認識に関する技術のために，書籍や雑誌，論文等を購入する．そのために，１５万円を使用する．また，プログラムを作成するためのＣコンパイラ（継続契約）に４万円使用する．次に，研究成果を発表するための旅費と宿泊費に２０万円，学会に参加するための費用に１１万円使用する．海外の学会へ論文を投稿するために，論文の英訳または校正を依頼するための費用として１０万円使用する．
|
