| 研究課題/領域番号 |
21K12175
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 徳島大学 |
|---|
研究代表者 |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| 研究分担者 |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | 深層学習 / 学習支援 / 姿勢推定 / 拡張現実 / 3D |
|---|
| 研究開始時の研究の概要 |
2D被写体を3Dモデルに変換するためには，高額な3Dボディスキャナーが必要になる．本研究では，特殊な機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換するシステムを開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下する．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能なシステムを開発することを目的とする.
|
| 研究実績の概要 |
本研究の目的は，深層学習技術を用いて画像や映像に写っている2次元の被写体を立体的な3次元モデル(3Dボディ)に変換するシステムを開発することである．具体的には，2次元の被写体画像からControlNetのOpenPoseを用いて各関節の2次元座標を求める．その後，本研究で開発した技術を用いて各関節の2次元座標から3次元座標を推定する．また，本研究で考案した技術を搭載したGUIシステムを開発し，実技を伴う教育現場やトレーニング施設にシステムを導入することで実技学習支援への有効性を検証する．
近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されている．しかしながら，学習用データに存在しないような特殊な姿勢に対しては精度が大幅に低下する点，また，上半身の傾きにずれが生じる点などが課題となっていた．この課題を解決するために，本研究では，同一人物がどのような姿勢をしても関節間の距離は変更しないことに着目した推定手法を考案した．具体的には，最初に直立正対した姿勢の2次元画像を撮影することを前提にし，その2次元画像から各関節間の距離を測定する．その後，どのような複雑な姿勢に対しても関節間の距離が同一になるように各関節の3次元座標を推定するアルゴリズムを考案した．
2021年度，2022年度に主要技術を開発し，2023年度は大規模データによる評価，及び実用性の評価を行なった．評価実験としては，Human3.6Mのデータセットを用いて推定座標と実際の座標位置を比較した．実験結果より，全体的な平均誤差を改善することができた．また，直立正対した姿勢の推定骨格の関節間距離が正解骨格に近いほど効果が高いことを確認できた．更に，本研究で考案した3Dボディ変換技術を搭載したGUIシステムを開発し，トレーニング施設にシステムを導入することで有効性を検証した．
|
