| 研究課題/領域番号 |
20K11344
|
|---|
| 研究機関 | 早稲田大学 |
|---|
研究代表者 |
渡辺 裕 早稲田大学, 理工学術院, 教授 (10329154)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 姿勢情報 / 動作解析 / 機械学習 / 動的時間伸縮法 |
|---|
| 研究実績の概要 |
スポーツ運動分析や介護姿勢推定を目的として、機械学習により映像から骨格情報抽出を行い、動作整合を自動的に行う手法の高精度化を達成した。基本的な姿勢検出については、前年度までの手法を踏襲した。まず機械学習により映像中の各フレームの人物画像に対して骨格情報を抽出し、関節の座標値と信頼度数値を得る。推定された２５個の関節点から重要な１２個を選択し６６次元の特徴ベクトルを形成する。これらをフレーム毎に求め、空間ベクトルの特徴量として動作推定に用いる。
また、本年度は近接する２フレーム間の関節点とその角度の変化を、時間ベクトルの特徴量として追加した。時間ベクトルの特徴量は１２点において、移動距離、移動方向、信頼度の３要素を持つ。姿勢類似度は、２系列の空間ベクトルの差と時間ベクトルの差の積で与えられる。したがって姿勢類似度は０以上の数値であり、０に近いほど類似していることを示す。
姿勢類似度に基づき、２本の映像に含まれるフレームの対応付けを、動的時間伸縮法（ダイナミック・タイム・ワーピング）により決定する。基準となる映像の最初から最後のフレームに対して、探索すべき映像の最初から最後までのフレームに対して、姿勢類似度を再帰的に計算する。
動作整合の実験対象として、野球の投球フォーム及びゴルフのスイングフォームの２種類の映像を選んだ。左利きの選手による運動姿勢との動作整合を求めるために、推定された関節位置の左右反転検出のための判定手法を導入した。評価手法としてケンドールの順位相関係数を用いた。この相関係数は－１から１までの数値を取り、１に近いほど類似フレームの相関が強いことを示す。提案手法は投球データセットに対して、ケンドールの順位相関係数において０．８５５となり、従来法に比べて０．２３５改善できた。同様に、ゴルフスイングにおいては０．８８２となり従来法に比べて０．３０６改善できた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度もコロナ感染対策のために、大学の研究室において研究の方向性について議論しながら課題に取り組むことがほぼ不可能であった。したがって、ビデオ会議ツールを用いてゼミや意見交換を行っている。このため細かな点で確認が不十分となることが多く、研究の進捗が滞りがちとなった。計算資源の確保はGoogle Colaboratoryを利用した。また、演算量が膨大になる場合にはリモートで研究室のPCを動作させられるリモートデスクトップアプリケーションAnyDeskを用いた。
研究成果は充実していたと考えられるが、国際会議への投稿やジャーナル論文化のタイミングを失った。そこで、急遽、情報処理学会オーディオビジュアル複合情報処理研究会において成果発表を行った。研究を直接担当してきた修士２年の大学院生が修了、就職により大学を離れたため、後継する４年生にプログラムを引き継いでいる。これまでの成果をまとめ、できるだけ早く国際会議への発表を行う予定である。
２０２２年４月より、大学での研究活動はリモートとオフラインのハイブリッドへと移行しつつあり、以前と比べて研究グループのメンバー間の意思疎通が改善できると考えている。以上から、おおむね順調に進展していると判断する。
|
| 今後の研究の推進方策 |
動作整合に用いた特徴ベクトルについては、従来の空間ベクトルだけでなく、時間ベクトルも付加することにより、より高精度な動作整合が可能となった。また信頼度の低い関節推定結果を排除する手法及び骨格の左右判定手法を導入することにより、従来に比べて安定した動作整合が可能となった。
一方、計算規模については、依然として１２点の組み合わせを全部用いた６６次元データを用いている。そのため計算時間は高速ではなく、演算量を削減することが課題として残っている。演算量削減には、特徴ベクトルの次元削減が有効であると考えられが、着手にはいたらなかった。
また、動的時間伸縮法（ダイナミック・タイム・ワーピング）は、先頭のフレームから再帰的に姿勢類似度を計算する必要があり、処理時間が膨大となる。再帰的処理の簡素化やブロック化による並列計算の可能性などが技術的課題として残っている。
本課題で基本技術として用いてきた骨格推定手法は、画像内での関節位置の２次元座標を推定しており、３次元空間上の座標を得ているわけではない。このため、実際は異なった姿勢推定結果となる可能性もあり、３次元姿勢推定手法への拡張が将来的な課題である。以上より、動作整合の高精度化に関しては当初目標とした到達点に達したと考えられる。
今後の課題として処理の高速化、演算量の削減、３次元骨格推定への拡張があげられる。これには研究補助員の人数と工数を増やして対処する予定である。
|
| 次年度使用額が生じた理由 |
本年度は、３年間の最終年であり、研究のまとめとジャーナル論文化に伴う出版の費用が見込まれる。また、現在国際会議への投稿準備中であり、２０２２年１０月には会議参加費、登録費、場合によっては旅費（リモート参加ではない場合）が見込まれる。さらに複数の研究補助員により、研究課題の目標達成に向かう方針である。また、コロナ感染対策下の環境では、外国出張を伴う国際会議参加ができなかった。このため一昨年度と昨年度に当初予定していた旅費は消化できていない。今後も外国出張の可能性はあまり高くないことが想定される。したがって、当初、最終年度にはメモリなど物品、消耗品を購入しない方針であったが、複数の研究補助員のPC性能の増強のため、直接経費の一部の区分変更を行いたい。
|
