2023 Fiscal Year Annual Research Report
実技学習支援を目的とした深層学習による3Dボディ生成システムの開発
| Project/Area Number |
21K12175
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 学習支援 / 姿勢推定 / 拡張現実 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，深層学習技術を用いて画像や映像に写っている2次元の被写体を立体的な3次元モデル(3Dボディ)に変換するシステムを開発することである．具体的には，2次元の被写体画像からControlNetのOpenPoseを用いて各関節の2次元座標を求める．その後，本研究で開発した技術を用いて各関節の2次元座標から3次元座標を推定する．また，本研究で考案した技術を搭載したGUIシステムを開発し，実技を伴う教育現場やトレーニング施設にシステムを導入することで実技学習支援への有効性を検証する．
近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されている．しかしながら，学習用データに存在しないような特殊な姿勢に対しては精度が大幅に低下する点，また，上半身の傾きにずれが生じる点などが課題となっていた．この課題を解決するために，本研究では，同一人物がどのような姿勢をしても関節間の距離は変更しないことに着目した推定手法を考案した．具体的には，最初に直立正対した姿勢の2次元画像を撮影することを前提にし，その2次元画像から各関節間の距離を測定する．その後，どのような複雑な姿勢に対しても関節間の距離が同一になるように各関節の3次元座標を推定するアルゴリズムを考案した．
2021年度，2022年度に主要技術を開発し，2023年度は大規模データによる評価，及び実用性の評価を行なった．評価実験としては，Human3.6Mのデータセットを用いて推定座標と実際の座標位置を比較した．実験結果より，全体的な平均誤差を改善することができた．また，直立正対した姿勢の推定骨格の関節間距離が正解骨格に近いほど効果が高いことを確認できた．更に，本研究で考案した3Dボディ変換技術を搭載したGUIシステムを開発し，トレーニング施設にシステムを導入することで有効性を検証した．
|
