|
スポーツ映像の視点変更や視野拡大を可能とする画像処理技術を開発し，映像観察に基づく協働学習に対する開発技術の支援効果を明らかにすることが目的である．最終年度は，GAN（敵対的生成ネットワーク）を用いることで，視点/視野を頑健に変更する技術を開発した．具体的には，様々な視点で撮影した画像と鳥瞰視点の画像の組み合わせをGANの枠組みを用いて学習させた画像変換AIの実現であり，他に類を見ない成果である．協働学習に対する効果については，COVID-19の影響により学校の体育授業での実験評価を断念せざるを得なかった．そこで本技術を空手道競技に適用し，試合中の選手にクローズアップした映像を競技コート全体での映像に変換する手法を開発した．クローズアップ映像には競技コートの一部しか映っていないが，GANは映っていない部分のCGを映像に追加することができる．これにより，選手のポジショニングやフォーメーションの観察が容易になることを確認した．また，この取り組みを通してGANの開発技術を蓄積し，その副次的な成果として，歪んだ画像を修正するGANを開発した．この応用として，曲面に貼り付けたQRコードの画像を修正して読み取り可能とする技術を確立した．
また，最終年度までの研究で，深層学習モデルに基づくモーションキャプチャにより選手のCGを生成し，観察視点を変更する技術を開発してきた．最終年度はこの技術の応用により，体育トレーニングの遠隔指導で実技の自動評価が可能であることを明らかにした．具体的には，遠隔指導をビデオ会議システムで行うとき，システム上の映像から学習者の腕立て伏せやスクワットの自動カウントを試みて確認した．現状はシンプルな実技に限定されるが，体育実技の遠隔化の可能性を示す成果である．
|
