2023 Fiscal Year Research-status Report
Measurement and identification using extended skeletal structures for tool-using human behavior
| Project/Area Number |
22K19803
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 画像認識 / 人体姿勢推定 / 骨格モデル / 三次元行動計測 / コンピュータビジョン / 行動認識 / スポーツ工学 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，人が道具を使う行動の様子を正確に計測し理解する新しい研究の枠組みを創出することである．人と道具を分けて扱うのではなく，道具もまた人体の一部と見なす拡張骨格構造を用いて，道具を使う人間の行動を記述することが本研究の特徴である．拡張骨格構造を用いて画像認識により対象人物と道具との関係を位置姿勢のレベルで正確に推定することによって，従来では困難であった行動のわずかな差異までも計測可能とすることを目標とする．
本研究では，道具を用いた人の行動の具体的な例を扱うことで，その新規性と有効性を確認していく．2023年度も前年度に引き続き，具体的な事例として，視覚障碍者を含む歩行者支援とスポーツ工学への応用との両展開を行った．その中で，他の研究者らが進めている従来法の延長であるHuman Object Interaction(HOI)アプローチと，提案手法とが特性上どのような差異があるかについて研究を進めている．
歩行者支援では白杖利用歩行の様子を画像から拡張骨格を利用して立体的な動きを推定する手法の研究を進めることができた．また，複雑な道具の例として，自転車を取り上げ，その拡張骨格の構成法について研究を進めた．
スポーツにおいては，道具が体の一部と見なせる競技において，拡張骨格の表現の自由度の高さに注目してきた．サッカーではボールという道具を扱う選手の状態表現として，ドリブル行動に注目し，研究を進めている．二人以上が組み合う格闘スポーツにおいては，相撲において，まわしに注目し拡張骨格を適用することで，技の認識等が出来ることを示すことに成功した．他の格闘スポーツへの適用可能性についても研究に着手し，その成果を学会で報告してきている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
歩行者支援とスポーツ工学の両面で研究展開を行って，それぞれに研究成果を出し学会発表なども行うことができた．これまで行ってきた白杖利用歩行時の白杖の動きの評価に拡張骨格を用いる研究について，白杖の三次元的な操作の様子を推定できるよう改良を進めている．
研究の各方面への展開が進んでいることから，個別のテーマにおける拡張骨格適用の知見が得られることを期待して研究を進めている．従来のHOI研究で見られる方法論との特性の違いを原理的に明らかにできれば，拡張骨格を利用するべき状況を定義できると考えている．
なお，研究の過程で行った学会発表において，２件受賞したことは，本研究の意義を評価頂けたことに繋がっていると考えている．（"Collision Prediction with Oncoming Pedestrians on Braille Blocks"，APMAR2023 Best paper award； "単一カメラによる白杖歩行者の三次元姿勢推定"，HCGシンポジウム2023 特集テーマセッション賞）
|
| Strategy for Future Research Activity |
本研究計画の着想は視覚障碍者歩行時の白杖利用状態の認識であったが，拡張骨格による人体姿勢と状態の推定について考察を進めるほどに，スポーツ工学への応用も有望であると考え，研究展開を図っているところである．
特に，道具と人体とを状態表現において統一的に記述できる拡張骨格のアプローチは，動作認識だけではなく，その動作レベルの推定や品質評価にこそ有効であるとの見込みを立てている．そのことから，レベル推定や品質評価に関する検証についても検討を進める．
|
| Causes of Carryover |
2022年度(初年度)において，大規模な認識の実行や認識の高精細化を検証する代わりに，方法論の研究を優先した．その影響で，2023年度に予定していた研究実施の一部が2024年度にずれ込む見込みのため，次年度使用額が発生している．
|
