アニメーション作画教育のためのVR学習支援教材の開発

2021 Fiscal Year Research-status Report

• Project/Area Number: 20K03095
• Research Institution: Yamaguchi University
• Principal Investigator: 熊谷 武洋 山口大学, 教育学部, 教授 (20335780)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: media / contents / animation / education

Outline of Annual Research Achievements

2021年度の研究実績は次のとおりである。
●人体モデル形成：引き続き写真測量技術を応用したフォトグラメトリ技術と、深度センサーによる立体スキャン技術によって実際の人間をモデルとして標本化を行った。フォトグラメトリについては2種類のソフトウェアを用いて性能評価と効果を検証した。深度センサーについては、6種類の機器を用いて、その特徴や性能、目的との適合性を考慮し、当該コンテンツにおける有用性を検証した。その結果、細部の詳細よりも、トラッキングロスの少ないロバスト性の高い計測方法が有効であるとわかった。
●人体挙動の深度計測：人体の基本挙動を動画撮影し素材作成後、それらを一般利用可能なディープラーニングによる動作推定処理ソフトウェアを用いて3Dの関節回転モデルを生成し、汎用形式によるモーションライブラリーを作成した。その際、方式の異なる2種類の動作推定システムを比較した。加えて、動画撮影時における被写体及び撮影環境の条件を複数種類用意して最大効果を導出する検証作業を行った。また、赤外線センサーを用いた実測システムでの標本化の検証作業も併せて行った。実測の場合は、リアルタイム性が高いながらも、欠損データが多くなるため、今回の用途には合致しないことが分かった。
●VR閲覧システムの環境構築：標本化された人体モデル形状とモーションライブラリーを割り当てて、モデルとモーションの変形処理を行い、HMD上にて3DCGによるVR180視環境を構築した。
●VR閲覧システムの環境調整：教材としての有用性向上のために、モデルデータやモーションデータの再編集処理を加えて、描画速度の最適化と動作パフォーマンスの調整を行った。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

前年度問題であった人体形状と人体動作における標本化作業において発生した不測の事態や技術的課題点について対処を行い、部分的に問題が解消し、予定通りの進捗となったため。
当該年度における成果を以下に示す。
・教材利用のための人体形状と人体動作の基本データの標本化作業を実施し、有用性のあるデジタルデータを作成した。
・デジタルデータをHMD上で閲覧可能状態にしていくための環境構築作業を行った。
・人体動作については動作種別毎に採取し、HMD上にて描画パフォーマンスを維持した状態でのVR表示を行う環境を構築した。
このように基本的なコンテンツデータおよび環境が整えられた。

Strategy for Future Research Activity

モデルとモーションにおけるデータ採取・編集及びトリートメントのワークフローを確立することができた。
そして有用性のあるデジタルデータを作成し、HMDを用いたVR上での閲覧が可能になった。よって今後の計画としては以下のような調整および拡張を予定している。
・ユーザーによるモーション切替変更等の簡易的なUI/UXによるインタラクティブ機能を付加して運用性の向上
・人体形状および人体動作の標本化および編集を行い、基本的な日常動作以外の高周期要素の高い動きや地面（基準位置）から離れる動きなど特殊な動作によるモーションライブラリーの拡充
・人体動作の理解促進および描画能力向上効果の検証
このようにコンテンツとしての機能向上と教材としての効果を確認することが今後の研究目的と課題である。