| 研究課題/領域番号 |
19K12032
|
|---|
| 研究機関 | 崇城大学 |
|---|
研究代表者 |
筒口 拳 崇城大学, 情報学部, 教授 (70828227)
|
|---|
| 研究分担者 |
米村 俊一 芝浦工業大学, 工学部, 教授 (60631033)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 手話映像 / 要約 / キーフレーム / 自動抽出 |
|---|
| 研究実績の概要 |
本研究は手話の効率的な映像コミュニケーション実現をめざし，手話の実写映像を，映像から抽出した少数の特徴的な画像（キーフレーム）のみを用いて要約するものである．研究対象を特定話者（手話演者）のキーフレーム自動抽出に絞り，信号処理的な（ルールに基づく）キーフレーム抽出，機械学習によるキーフレーム抽出などさまざまな観点からの自動抽出を目標としている．
当該年度は，特定の文章について，信号処理的な手法でキーフレームの抽出が可能かどうかの検討および実験を行い，人物像の骨格を抽出するOpenPoseと呼ばれるツールを用いて手話映像から手部の軌跡を抽出し曲線近似を行った上で，軌跡の「極値」をとるフレームを求めることでキーフレーム候補抽出が可能であることを確認した．さらに，曲線の次数を調整することで過剰に検出されがちなキーフレーム候補数を抑えられるであろうことも確認した．
また，キーフレームの抽出後には，キーフレーム画像をどのように組み合わせて提示すれば効果的か，といった検討も必要となるが，ろう者が手話者のどこを注視しているか，また，ろう者が手話映像を見てどのように解釈しているのか，といった方略を実験を交えて検討し，その結果，ろう者に手話映像を提示する際には表情も重要であり，さらに語順（キーフレームの提示順序）を変える，あるフレームの前後の時間間隔を調整する，何らかの手段で強調する，といった手法が有効であろうことが示唆された．
これらの，近似曲線を調整しながらキーフレームを自動的に抽出できるであろうということを確認できた点は本研究のステップとして大いに意義のあることであり，さらに，ろう者の手話解釈に対する知見を得たことはキーフレーム抽出後の要約方法についての指針としても重要であるが，ろう者の手話認識に対する仮説も立てたこととなり，研究的意義が大きい．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究は，対象を特定話者（手話演者）による手話映像からのキーフレーム抽出を目的としている．当該年度は，特定話者（手話演者）の特定会話（特定の手話映像）を対象とし，ルールに基づく手法でキーフレーム候補の抽出が可能であることの確認と，機械学習によるキーフレーム候補の抽出の可能性を検討することを計画していた．
これに対し，当該年度は，特定会話について，信号処理的なルールに基づく手法でキーフレームの抽出が可能かどうかの検討および実験を行い，結果としてキーフレーム候補となる画像を良好に抽出できる可能性があることを確認できた．さらに，曲線の次数を調整することで適切な数のキーフレーム候補を検出できることを確認できた．しかし，機械学習による自動抽出については実験にまで至らなかった．
次に，ろう者および聴者を被験者として，手話映像および文章をどのように記憶し把握するか，という観点からの被験者実験を行い，手指も重要だが表情も非常に重要であるということが確認でき，さらに，ろう者の手話映像の内容把握に対する知見を得ることができた．これにより，キーフレーム抽出ができた後に，抽出されたキーフレーム画像をどのように編集して要約すれば良いか，という指針が示唆されることとなった．
以上を評価すると，キーフレーム自動抽出手法については，ルールに基づく手法は実験および有効性を検討できたが機械学習による抽出までは至ってない．しかし，当初計画で将来的な課題としていたキーフレーム映像の提示方式についての検討を先行して進めることがきており，総合的に判断して順調（計画通り）と評価した．
|
| 今後の研究の推進方策 |
今年度は，特定話者の手話映像データをさらに取得し，前年度に実行したルールに基づくキーフレーム抽出に対し，機械学習によるキーフレーム抽出をこころみる．手指の軌跡データの取得方法としてOpenPose以外の手法も検討し，得られた手指の軌跡データや，あるいは手話映像そのものもデータとして学習を行い，得られたキーフレーム候補と前年度検討したルールに基づく手法とを比較検討する．
また，キーフレームの正解データ（正例）は現段階では目視で得ることになるため，その正例を選択する作業量は膨大となってしまう．この負荷を低減すべく，「キーフレーム候補から正例を得るための画像提示手法」についても検討を行う．これは前年度の研究を通して出た新たな課題である．
これらの結果をもとに，本研究の目標である特定話者の任意映像に対する自動キーフレーム抽出に向けた検討を進めていく．また，抽出したキーフレームを用いた要約映像の作成についても引き続き検討を進める予定である．
なお，昨今の世の中の状況から，被験者を集めての集合的な主観評価実験が困難であると予想されるので，評価方法については改めて検討を行う予定である．
|
| 次年度使用額が生じた理由 |
旅費が当初計画値を下回ったことと，年度後半に予定していたデータ取得および実験作業を当該年度の成果を踏まえ，仕様を変更して次年度実施することにしたため．
|
