|
本研究は手話の効率的な映像コミュニケーション実現をめざし，手話の実写映像を，映像から抽出した少数の特徴的な画像（キーフレーム）のみを用いて要約する技術の確立を実現するものである．前年度には手話映像内の動きをオプティカルフローを用いて解析し，一定の条件を満たすフローベクトル数の時間変化において極小値をとるフレームをキーフレーム候補として抽出する新しい手法を考案し実装した．この手法は手話者に依存せず，実時間に近い時間でキーフレーム候補を抽出できる．
当年度は，（1）キーフレーム映像の有効性を確認した評価実験の結果を投稿した論文が採録・掲載された（論文1）．次に，（2）前年度考案したオプティカルフロー解析により抽出したキーフレーム候補から要約映像を自動生成する手法を検討・実装し，生成した要約映像を用いて手話通訳士へのエキスパートレビューを行った（学会発表3件め）．あわせて，（3）キーフレーム映像のどのあたりを注視するかを視線検出装置を用いて解析する手法を開発した（同じく学会発表3件め）．さらに，（4）抽出したキーフレーム候補を用いて手話の初学者に重要ポイントを提示する学習システムの実装と検討を行い，有効性を確認した（学会発表1件め，2件め）． （2），（3）においては被験者を集めての実験が困難な状況であったため少人数へのエキスパートレビューという形を取らざるを得なかったが，要約映像の生成方法について方向性を確認することができた．
本研究の計画においては，研究対象を特定話者（手話演者）の映像に絞り，キーフレームの自動抽出までを目標とするものであったが，本研究期間を通じた研究により，話者に依存せず，実時間に近い実行時間でキーフレーム映像を生成することが可能となり，計画以上の成果を挙げることができ，今後の応用に向けて大きく前進することができた．
|
