| 研究課題/領域番号 |
19K12032
|
|---|
| 研究機関 | 崇城大学 |
|---|
研究代表者 |
筒口 拳 崇城大学, 情報学部, 教授 (70828227)
|
|---|
| 研究分担者 |
米村 俊一 芝浦工業大学, 工学部, 教授 (60631033)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 手話映像 / 要約 / キーフレーム / 自動抽出 / オプティカルフロー |
|---|
| 研究実績の概要 |
本研究は手話の効率的な映像コミュニケーション実現をめざし，手話の実写映像を，映像から抽出した少数の特徴的な画像（キーフレーム）のみを用いて要約するものである．研究対象を特定話者（手話演者）のキーフレーム自動抽出に絞り，信号処理的な（ルールに基づく）キーフレーム抽出，機械学習によるキーフレーム抽出などさまざまな観点からの自動抽出を目標としている．
当該年度は，（1）手話による文章・単語30例の映像データ60種類（撮影方向2種類）を取得し，半数について正解キーフレームを選定する作業を行うとともに，（2）手話キーフレームを手話学習にどのように適用すれば効率の良い学習効果が得られるかの検討およびソフトウェア設計を行なった（学会発表1件め）．
また，（3）昨年度の研究を発展させ，人物像の骨格を抽出するツール・OpenPoseを用いて手話映像から手部（両手首および両肘のX座標，Y座標の8種類）の軌跡を抽出しFourier曲線近似を行った上で，軌跡の「極値」をとるフレームを求めることでキーフレーム候補の抽出を行った．その結果，文章3例に対し，正解キーフレーム抽出において再現率80％を得た（学会発表2件め）．
さらに，（4）手話映像内の動きをオプティカルフローを用いて解析し，一定の条件を満たすフローベクトル数の時間変化において極小値をとるフレームをキーフレーム候補として抽出する新しい手法を考案し実装した．その結果，文章3例および単語3例に対し，正解キーフレーム抽出において単語で100％，文章で78％の再現率を得た（学会発表3件め）．
いずれも当研究において意義の大きい結果を得ることができたが，特に（4）のオプティカルフローを用いたキーフレーム候補抽出は，ソフトウェアの実装が容易であり，実時間に近い時間でのキーフレーム候補抽出に応用できる可能性が示唆され，非常に有用な結果となった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究は，対象を特定話者（手話演者）による手話映像からのキーフレーム抽出を目的としている．当該年度（3年計画の2年目）は，特定話者（手話演者）のさまざまな手話映像を対象とし，キーフレーム候補自動抽出方法を発展させることを計画していた．
当該年度は，キーフレーム自動抽出に対し，前年度（1年目）の手法を発展させた手指の関節位置を解析してキーフレーム候補を抽出する手法と，オプティカルフローを用いた動作解析によるキーフレーム候補抽出の2方式を検討した．また，実験用手話映像として，特定話者の手話映像データ30例60本を取得した．
当初計画では，信号処理的手法と機械学習による手法との比較検討も想定していたが，オプティカルフローを用いた手法により実時間処理に近い速度での（信号処理的手法による）キーフレーム候補抽出の可能性を得ることができた．これは非常に大きな知見であるとともに，今後のシステム構築や実装面においても有用な発見であるため，研究的意義が大きいものである．しかし，抽出したキーフレームからの要約映像に対する被験者実験は，昨今の状況に鑑みても実施が困難であり，実行できていない．
成果のとりまとめという点では，当該年度に得られた実験結果および知見をもとに対外発表3件を行い，査読付論文1編も投稿中である．（前年度は対外発表5件であった．）
以上を評価すると，キーフレーム自動抽出手法については2種類の方式による実験を行い，オプティカルフローによる動作解析を用いた手法の有効性を確認できた．被験者を用いた評価実験は実施できなかったものの，当初計画で将来的な課題としていたリアルタイム処理を先行して検討することができており，総合的に判断して順調（計画通り）と評価した．
|
| 今後の研究の推進方策 |
今後は以下の研究を実施予定である．まず，（1）当該年度に取得した手話映像データに対し正解キーフレームを得る作業を完成させる．これは目視による手作業でしか得ることができない．
次に（2）オプティカルフローを用いたキーフレーム候補抽出手法において，どのような条件を満たすフローベクトルを抽出すべきかの検討を行う．そのうえで，キーフレーム候補抽出実験をすべての手話映像データに対し行い，正解キーフレームとの比較による抽出漏れや過剰な抽出等を評価することにより，前年度に新たな課題として挙げたキーフレーム候補からの正解キーフレーム抽出についても検討を行う．また，（3）オプティカルフローを用いた手法は，映像に手話者以外の動きが撮影されていると誤検出する可能性があるため，手話者領域を抽出する手法についても検討を行う．たとえば，OpenPoseにより抽出した手指部分のみフローベクトルを算出する，といった手法が考えられる．さらに，（4）抽出したキーフレーム候補を閲覧する方式も検討する．
なお，昨今の世の中の状況から，被験者を集めての集合的な主観評価実験が困難であると予想されるので，抽出したキーフレームから作成した要約映像を閲覧して内容を理解できるかどうか，という評価実験については，実験方法も含めて改めて検討を行う予定である．
本研究課題においては，特定話者の手話映像からのキーフレーム自動抽出にテーマを絞り検討を行ってきた．当初はディープニューラルネットワークなどの深層学習も検討していたが，当該年度に提案したオプティカルフローを用いた信号処理的な方式により自動抽出できる可能性が出てきた．信号処理的な方式は，膨大な学習データを必要としない点や，実装・システム構築，処理時間の面で有利であるため，今後は本方式に注力する．ただし，深層学習とのキーフレーム抽出精度の比較検討は将来的な課題として挙げられる．
|
| 次年度使用額が生じた理由 |
旅費が当初計画値を下回ったことと，当年度に予定していた被験者を集めての評価実験の実施が困難となり，当該年度の成果を踏まえ，仕様を変更して次年度実施することにしたため．
|
