2021 Fiscal Year Research-status Report
実技学習支援を目的とした深層学習による3Dボディ生成システムの開発
| Project/Area Number |
21K12175
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 学習支援 / 姿勢推定 / 拡張現実 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，深層学習技術を用いて，画像や映像に写っている2D被写体を立体的な3次元モデル(3Dボディ)に変換するシステムを開発する．また，実技を伴う教育現場やトレーニング施設にシステムを導入し，実技学習支援への有効性を検証する．本研究では，高額な3Dスキャナー機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換する技術を研究開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下する．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能な技術を研究開発する．
研究期間中に3Dボディ修正部と予測モデルチューニング部を開発する．3Dボディ修正部では，従来の予測モデルで生成された3Dボディを対象にし，撮影方向の異なる数枚の画像から生成された3Dボディを統合することで不適切な部分を修正する．次に予測モデルチューニング部では，誤差が修正された3Dボディを正解データとし，従来の予測モデルのパラメータを調整する．3Dボディの誤差が少なくなるまでは，撮影方向の異なる数枚の画像を必要とするが，誤差が小さくなると，一方向から撮影された画像や映像だけから被写体に適した3Dボディを生成できる.
令和3年度には，まず3Dボディ修正部の開発を実施した．基本的に正面と側面から撮影した画像を用いて修正するが，撮影方向と修正可能な部位の関係，また，統合に用いる画像数と精度との関係を検証した.次に，予測モデルチューニング部の開発にも着手した．予測モデルのチューニング法としては，深層学習モデルの最終層近くだけをチューニングする技術を開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本システムの核となる姿勢推定部分の開発は当初の計画通りに終了したため.
|
| Strategy for Future Research Activity |
令和4年度以降は，3Dボディ動画生成システムの開発，インタフェースの開発，および教育現場への導入・検証を実施する予定である．R4年度から映像内の被写体を3Dボディ化し，blenderなどのソフトウェアを用いて3Dボディを動画として生成できるシステムを開発する．R5年度上半期に3Dボディを360°自由視点で視聴できるインタフェースを開発する．また，R5年度上半期にインタフェースの開発が終了次第，教育現場やトレーニング施設に導入し，検証実験を実施する．なお，法令順守やプライバシー保護に十分に配慮しながら実施する．
|
| Causes of Carryover |
理由：学会発表がオンライン開催になり，旅費が必要なくなったため．新型コロナ感染防止のため，謝金のための勤務時間が軽減されたため．
使用計画：次年度は，被験者を雇用した実験を多く実施するため，研究費（人件費・謝金）と合わせて使用する計画である．
|
