2020 Fiscal Year Research-status Report
Improving the accuracy of human motion analysis by machine learning
| Project/Area Number |
20K11344
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
渡辺 裕 早稲田大学, 理工学術院, 教授 (10329154)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 姿勢情報 / 動作解析 / 機械学習 / 動的時間伸縮法 |
|---|
| Outline of Annual Research Achievements |
スポーツ運動分析や介護姿勢推定を目的として、機械学習により映像から骨格情報抽出を行い、動作整合を自動的に行うための基礎検討を行った。
まず機械学習により映像中の各フレームの人物画像に対して骨格情報を抽出し、関節に関する座標値と信頼度数値を得た。機械学習により得られた関節点の座標は、カメラ位置に依存する。そこで、得られた２５個の関節点から、信頼性が高く大きな動作において重要と見なせる１２個を選択した。これらから関節の始点と終点に相当する２点を抽出すると、始点から終点へのベクトルが形成できる。ある関節に着目すると、その位置を始点とする２個のベクトルによって、ベクトルの長さだけでなく、角度、関節推定の信頼性を示す数値が得られる。これらを特徴量として動作推定に用いた。関節の１２点から２点を選ぶ組み合わせは６６通り存在するため、まず組み合わせの全部を用いる６６次元の特徴ベクトルを動作整合に用いることとした。
動作の時間的な整合には動的時間伸縮法（ダイナミック・タイム・ワーピング）を適用した。従来手法では、映像の各フレームから得られたベクトルを全て整合計算に用いていた。しかし実際には個人動作の差異から整合しないフレームが存在することがわかった。そこで、対応しないフレームのベクトルを整合計算から除去することで、整合精度を高めることに成功した。ここで従来の動的時間伸縮法と異なり、整合の終点位置が未定義のままでも、参照動作に対応する入力動作の整合が行えることを示した。
動作整合の実験対象として、野球の投球フォームの比較を選んだ。右投げ投手の参照動作に対して、別の右投げ投手の動作を整合させることは容易である。左投げ投手の動作を整合させるためには、利き腕と利き足のベクトルを合わせることで、動作整合の可能を拡大した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
大学の研究室において研究の方向性について議論しながら課題に取り組むことがほぼ不可能であったため、リモートで計算機を使用し実験結果をウェブツールを用いて表示しながら研究を遂行している。そのため細かな点で確認が不十分となることが多く、研究の進捗が滞りがちとなった。そこで、グーグル社の提供する学術計算サービスであるGoogle Collaboratoryを利用することで、計算資源を確保した。ただし、計算時間やメモリに制限があることから、完全ではない状態にある。一方、提案した手法を用いて得られた研究結果は想定通り良好であり、IEEEの国際会議に採択されるなど、レベルの高い結果が得られた。
動作整合に用いた特徴ベクトルについては、関節を始点及び終点とするベクトルに着目し、２個のベクトルの長さと角度、さらにその関節の信頼性を特徴ベクトルの要素とすることで、十分な動作解析を行うことができることを示した。これにより、研究課題の第１項目は完了できたと考えられる。
さらに、それら関節を元にする特徴ベクトルを全て用いるのではなく、主要な関節点と重要であると推測できる組み合わせ点だけを用いることにより、実用上、十分な性能を示す手法となっていることを実験により示すことができた。これにより、現状では計算時間は比較的大きな規模となっているが、動作整合に関しては十分な性能を示す手法であることを実証できたと考えられる。
|
| Strategy for Future Research Activity |
時系列的な動作解析を用いた動作整合には、特徴ベクトルとして骨格の関節位置ではなく正規化した骨格の長さと角度を用いることが有効であることが分かった。これまでは骨格位置情報から、主要な関節をすべて含むように特徴ベクトルを生成した。しかし対象とする動作によって、整合に必要な関節の数や場所が異なると考えられる。したがって、解析対象とする動作に対応したベクトルの次元数削減手法の検討を目指す。解析対象とする運動に依存した特徴ベクトルの設定のやり方だけでなく、カメラ位置や右利き左利きによって、本来解析対象としたい動きの情報が、座標情報に投影された時に大きく変化してしまう問題がある。この問題に対して、頑健に動作整合が行えるような特徴ベクトルを探求する予定である。
また、現状では計算時間に制約を設けていないが、次元数削減により処理の高速化が期待できる。しかし次元数削減とともに整合率が低下すると考えられる。次元削減と性能低下の関係を明確にするための実験データが必要である。実際のユースケースを考慮すると、例えばプロスポーツ映像の放映を行うテレビ局での映像編集などを想定すると、映像が提供されてから、数時間のうちに全ての整合動作抽出が望まれる。プロ野球の投手の全球投球シーンの早送り映像などが、アプリケーションとして考えられる。また、スポーツ選手のトレーニング時に、各自の動作映像を理想的な模範映像と比較しながら再生提示するようなアプリケーションが考えられる。このようなユースケースに対応できるような、処理の高速化を目指す。
|
| Causes of Carryover |
コロナ感染対策として国際会議、学会などがリモート開催となっている。そのため、当初予定していた外国出張旅費や国内学会旅費などが未使用となっている。また、本来購入予定であったGPUである3090Tiは2020年10月に発売が開始されたが、供給が需要に追いつかず全く購入できなかった。その後もオーダーメイドPCやワークステーション、GPUボードなどを販売してきた小売店が、コロナ感染対策のためにリモート商売となり、購入も容易ではなくなった。今年度は前年度に比べて人流や物流に関する制限や危険性が緩和されると予測されるが、少なくともワクチンの全面的な普及には今後半年以上かかると想定される。そのため、相変わらす、学会参加費、旅費、宿泊費など発表に必要な費用や、物品購入に必要な費用は自動的に制限がかかってしまうと考えられる。
|
Research Products
(3 results)
