2020 Fiscal Year Research-status Report
ビッグデータとスモールデータの融合による個人に適応した階層構造型動作分析法の確立
| Project/Area Number |
20K19568
|
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
張 潮 福井大学, 学術研究院工学系部門, 講師 (70803419)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 人物動作分析 / 深層学習 / 最適化 / 進化的計算 |
|---|
| Outline of Annual Research Achievements |
骨格モデルの検出による動作分析は，スポーツ科学分野における姿勢矯正や運動機能改善に必要不可欠な処理である．近年，人工知能によるビッグデータの活用が急速に広まっている．特に，比較的収集しやすい画像データを大量に用いることで，深層学習による姿勢推定の精度および汎用性は向上の一途をたどっている．本研究では，深層学習による骨格検出結果をスモールデータで最適化することで，ビッグデータおよびスモールデータ，それぞれのデータが持つ価値の融合を目指す．
そのため，今年度は，主に人物の部位をセグメンテーションする方法を提案した．3次元の人体データを8個のパーツ（頭部，胴体，上腕，前腕，手，大腿，下腿，足）に分けて認識することが可能となった．特に，人体の点群データをニューロンネットワークで学習させることで人体の部位セグメンテーションを実現できた．広い関節可動域を持つ3次元人体モデルに対して部位セグメンテーションを行うには，様々な体格や姿勢を含んだモデルの学習データを準備する必要があるが，すべてのデータにおいて人体の各部位を正解情報として用意することは容易でない．本研究では，複数の人体メッシュモデルのデータセットに対して，メッシュ表面から点群の一様サンプリングを行うことによって，様々な体格や姿勢の人体点群モデルを作成し，この問題点を解消した．生成される点群の部位ラベルは，各点のサンプリング位置のメッシュ表面が持つ正解情報に対応してラベリングした．また，関連する最適化アルゴリズム，クラスターリングアルゴリズム，特徴抽出アルゴリズム，マッチングアルゴリズムを複数提案した．これらの研究成果について，ジャーナル論文7編，国際会議8編，国内会議において2件を発表した．以上が今年度行った本研究についての報告である．
さらに次年度の計画として，深層学習を用いた骨格検出器の改良および連続する動作の分析に取り組む．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和２年度では，人体の部位セグメンテーションおよび深層学習や最適などに欠かせない基礎的なアルゴリズムを開発した．これにより，人体データ構造の階層化やカテゴリ化が可能になった．今年度の研究では，テストデータに対し，人体全体の平均セグメンテーション精度は70%以上であり，全体的なセグメンテーションができていることが確認できた．胴体，大腿，下腿と足の部位では，平均精度が80%程度と高い精度でセグメンテーションができた．しかし，上腕から手までの部位では60%程度と比較的に低い平均精度となった．これは，人体の姿勢や形状が大きく影響していると考えられる．今後，十分な学習データを用意することで正しくセグメンテーションできることが期待される．次年度以降，ビッグデータの学習方法とスモールデータの最適化手法を統合することにより，人間の視覚認識システムが持つ環境変化に対する不変性と有用な情報に対する選択性の両方を有し，かつ個人に適応した高精度な動作分析法を目指す．これらの研究の成果について，ジャーナル論文7編，国際会議8編，国内会議において2件を発表しており，次年度以降の研究にとって重要である．以上の理由から，おおむね順調に進展していると判断した．
|
| Strategy for Future Research Activity |
まず，グラフィカルモデルで人間の骨格をモデル化し，深層学習を用いた骨格検出器の改良・洗練化および最適化手法を用いた骨格検出器の開発を同時進行する．必要であれば，再度データの取得方法などを検討する．次に，検出器を用いて人体動作を検出し，予測・分析を行う．深層学習の検出結果をスモールデータで最適化する．最後に，実環境のテストデータでその有効性・有用性を検証し，アルゴリズム全体の高速化を行う予定である．今後は，研究スピードをさらに向上させ，推進していく予定である．
|
| Causes of Carryover |
消耗品費に関して，想定よりもデータ量が少なかったため，一部を次年度に購入することとした．また，当初予定していた撮影実験の実施を次年度に移すこととしたため，当初想定した謝金の支出が少なかった．さらに，国際会議への出張の代わりに，学術雑誌における論文発表を積極的に行ったため，旅費より論文掲載料の支出が多かった．以上の理由により，残額が生じた．
来年度では，実環境における実験を計画しており，謝金・成果発表に使用する費用が高くなる見込みである．計算機など研究に必要な基礎物品を今年度で購入したが，実験に必要な追加物品と購入しなかった消耗品を購入する予定である．
|
