2022 Fiscal Year Research-status Report
Measurement and identification using extended skeletal structures for tool-using human behavior
| Project/Area Number |
22K19803
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 画像認識 / 人体姿勢推定 / 骨格モデル / 三次元行動計測 / コンピュータビジョン / 行動認識 / スポーツ工学 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，人が道具を使う行動の様子を正確に計測し理解する新しい研究の枠組みを創出することである．人と道具を分けて扱うのではなく，道具もまた人体の一部と見なす拡張骨格構造を用いて，道具を使う人間の行動を記述することが本研究の特徴である．拡張骨格構造を用いて画像認識により対象人物と道具との関係を位置姿勢のレベルで正確に推定することによって，従来では困難であった行動のわずかな差異までも計測可能とすることを目標とする．
本研究は，道具を用いた人の行動の具体的な例を扱うことで，その新規性と有効性を確認していくことになる．本年度は，具体的な事例として，視覚障碍者を含む歩行者支援とスポーツ工学への応用との両展開を行った．歩行者支援では白杖利用歩行の様子を画像やIMU等のセンサから認識し，それに基づいてICT機器の利用による安全な歩行の実現を目指している．このために，特に歩行者前面の安全領域の自動推定についても研究を進めた．IMUを用いた次歩推定の研究も進めた．これらを白杖利用歩行の認識状態と組み合わせることで，今後，安全な歩行の支援を目指していく．スポーツ工学への応用は本研究計画が実施されるようになってから本格的に取り組んだものである．大相撲の技の認識を研究課題として取り上げる．格闘スポーツは，その技の認識を含めて方法が確立していない．そこで，拡張骨格の優位性を利用することが認識に有用であることを示すことを目的として研究に取り組んだ．具体的には，まわしを力士に特有な体に付随する部分（広義の道具）として扱うことで，技の認識に成功しつつある．また，これまで取り組んできたバスケットボールなどのボールを使った練習状況において，ボールを道具として見なすことで，スポーツ動作認識に向上が見られそうか研究を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要でも述べたが，歩行者支援とスポーツ工学の両面で研究展開を行っていて，それぞれに研究成果を出し学会発表なども行うことができた．また，これまでも行ってきた白杖利用歩行時の白杖の動きの評価に拡張骨格を用いる研究について，白杖の様子をより正確に行えるよう改良を進めていているところである．
初年度は，研究の各方面への展開が思いのほか進んだため，個別のテーマにおける大規模な認識の実行や認識の高精細化を検証するよりも，方法論の研究を優先した．
本研究計画では，ベースにする認識プラットフォームとしてOpenPose(2017年)を利用している．これに対する拡張骨格対応への技術的ノウハウの蓄積についても順調である．次年度以降はデータの規模を大きくしての追加学習等にも対応できるだけの準備が整いつつある．
|
| Strategy for Future Research Activity |
本研究計画の着想は視覚障碍者歩行時の白杖利用状態の認識であったが，拡張骨格による人体姿勢と状態の推定について考察を進めるほどに，スポーツ工学への応用が有望であると考えを進めている．そのため，大相撲の力士のみならず，道具を使うスポーツ選手のプレー状態の推定について，拡張骨格を用いることの優位性を確認していくことを考えている．
また，拡張骨格の概念自体は骨格推定手法一般に行えるものであるはずなので，OpenPoseに限らず他のベース手法へ展開できるかどうかも検討していく．
方法論がある程度確立するようになったら，規模を大きくしたデータによる検証も行う予定である．
|
| Causes of Carryover |
初年度は，大規模な認識の実行や認識の高精細化を検証する代わりに，方法論の研究を優先した．そのため，新規計算機資源の導入を次年度にする予定である．
|
