| Project/Area Number |
21K12175
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The University of Tokushima |
|---|
Principal Investigator |
SHISHIBORI Masami 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (50274262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
光原 弘幸 徳島大学, 大学院社会産業理工学研究部(理工学域), 教授 (90363134)
大野 将樹 徳島大学, 大学院社会産業理工学研究部(理工学域), 講師 (90433739)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 学習支援 / 拡張現実 / 深層学習 / 姿勢推定 / 3D |
|---|
| Outline of Research at the Start |
2D被写体を3Dモデルに変換するためには，高額な3Dボディスキャナーが必要になる．本研究では，特殊な機材を必要とせずに，通常の環境で撮影された画像や映像に写っている2D被写体を3Dモデルに変換するシステムを開発する．近年，深層学習モデルを用いて3Dモデルを生成する技術が海外において活発に研究されており，学習済みの予測モデルも公開されている．しかし，外国人の身体データを学習しているため，外国人と体型差がある日本人に適用すると精度が低下する．そこで本研究では，既存の予測モデルに対して，学習データと被写体との体型差により起因する精度低下を緩和可能なシステムを開発することを目的とする.
|
| Outline of Final Research Achievements |
The technology for acquiring human pose is used in a wide range of fields such as motion analysis, AR, and VR. 2D pose estimation is to identify the 2D points of a person’s joints in an image. Currently, 2D pose estimation is showing high performance. For this reason, 3D pose estimation has been widely studied using the results of 2D pose estimation as input. 3D pose estimation acquires depth information at joint points. The whole body or a part of the body leans forward or backward more than actual. In this study, we consider the fact that distances between joints of the same person is constant. By using this feature, this method improves the accuracy of the 3D pose estimation. In order to evaluate this method, we compared the 3D joint point positions estimated from the 2D joint point positions in the Human3.6M dataset. From the experimental result, it has been found that the more correctly distances between joints in estimated, the smaller the error tends to be.
|
| Academic Significance and Societal Importance of the Research Achievements |
実技を伴う教科では，実際の姿勢や動作，手技の動きなどを見せるために，事前に撮影した画像や映像をタブレット端末に配信し，実技教育を実践する教育現場が増えている．画像や映像を利用した実技教育は効率的に学習できるが，画像や映像を撮影した一方向からの視点でしか被写体を把握できず，身体に隠れた部分や視点を変更した内容が確認できないといった問題点がある．本研究成果を用いると，被写体の骨格情報を3次元で立体的に表示できるので，学習者は様々な視点から被写体を確認することで，学習効果が向上することが期待できる．
|
