| 研究課題/領域番号 |
21K12175
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 徳島大学 |
|---|
研究代表者 |
獅々堀 正幹 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| 研究分担者 |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 准教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | 深層学習 / 学習支援 / 姿勢推定 / 拡張現実 / 3D |
|---|
| 研究開始時の研究の概要 |
2D被写体を3Dモデルに変換するためには，高額な3Dボディスキャナーが必要になる．本研究では，特殊な機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換するシステムを開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下する．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能なシステムを開発することを目的とする.
|
| 研究実績の概要 |
本研究の目的は，深層学習技術を用いて画像や映像に写っている2D被写体を立体的な3次元モデル（3Dボディ）に変換するシステムを開発することである．また，実技を伴う教育現場やトレーニング施設にシステムを導入し，実技学習支援への有効性を検証することである．本研究では，高額な3Dスキャナー機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換する技術を研究開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下してしまう．
そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能な技術を研究開発する．研究期間中に3Dボディ修正部と予測モデルチューニング部を開発する．3Dボディ修正部では，従来の予測モデルで生成された3Dボディを対象にし，撮影方向の異なる数枚の画像から生成された3Dボディを統合することで不適切な部分を修正する．次に予測モデルチューニング部では，誤差が修正された3Dボディを正解データとし，従来の予測モデルのパラメータを調整する．
令和4年度までに，3Dボディ修正部の開発を完了した．基本的に正面と側面から撮影した画像を用いて修正するが，撮影方向と修正可能な部位の関係，統合に用いる画像数と精度との関係を検証した．更に，予測モデルチューニング部の開発にも成功した．予測モデルのチューニング法としては，深層学習モデルの最終層近くだけをチューニングする技術を開発した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本システムの核となる姿勢推定部分の開発は当初の計画通りに終了したため.
|
| 今後の研究の推進方策 |
令和5年度以降は，インタフェースの開発，および教育現場への導入・検証を実施する予定である．
令和5年度から映像内の被写体を3Dボディ化し，blenderなどのソフトウェアを用いて3Dボディを動画として生成できるシステムを開発する．
令和5年度上半期に3Dボディを360°自由視点で視聴できるインタフェースを開発し，令和5年度上半期にインタフェースの開発が終了次第，教育現場やトレーニング施設に導入し，検証実験を実施する．なお，法令順守やプライバシー保護に十分に配慮しながら実施する．
|
