2022 Fiscal Year Annual Research Report
群れの３次元行動計測のための全自動マーカーレスモーションキャプチャ
Publicly Offered Research
| Project Area | Hierarchical Bio-Navigation Integrating Cyber-Physical Space |
|---|
| Project/Area Number |
22H05654
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
延原 章平 京都大学, 情報学研究科, 准教授 (00423020)
|
|---|
| Project Period (FY) |
2022-06-16 – 2024-03-31
|
| Keywords | コンピュータビジョン / カメラキャリブレーション / マーカレスモーションキャプチャ |
|---|
| Outline of Annual Research Achievements |
本年度は研究目標である群れの３次元行動計測のための全自動マーカーレスモーションキャプチャに向けて，特に被写体となる個体の単眼３次元姿勢推定が可能である，すなわち映像を入力として，撮影視点から見た３次元姿勢を推論することができるという仮定のもとで，複数カメラを自動的にキャリブレーションし，全自動マーカーレスモーションキャプチャを行うことが可能であることを示した．キャリブレーションを実現するにあたって，新たな線形解法を導出するとともに，ひとを対象とした実験によってその有効性を実証している．本研究では映像から被写体の３次元姿勢を推論できることを仮定しているが，ひとを対象とした場合は学習済みモデルが広く利用可能であるものの，それらは成人の一般的な歩行や運動動作を対象としているために，高齢者や子供の運動には完全には対応していない．このような問題を解決するために，今年度は特に，実際の被写体の動きにより適合した３次元姿勢推論を行うための自己教師あり学習の枠組みを実現している．すなわち，当初は一般的な事前学習済みモデルを用いて計測を開始しつつ，多視点計測であることを活かして頑健な３次元姿勢推定を行い，その結果を教師データとすることによって映像から３次元姿勢を推定するモデルのファインチューニングを行う．これにより，実際に計測したい被写体とシーンにより特化したマーカーレスモーションキャプチャを，全自動で実現することができることを実証した．実験では，掃除をする，料理をするといった，一般的な事前学習済みモデルには含まれていない動作をする高齢者の日常生活での動きを対象として，反復的な自己教師あり学習によって，モーションキャプチャの精度が向上することを定量的に示している．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究目標である群れの３次元行動計測のための全自動マーカーレスモーションキャプチャを実現するにあたり，必要となる要素技術は空間的なキャリブレーション，時間的な同期，視点間での被写体の対応付けの３点である．このうち今年度は最初の空間的なキャリブレーションについて，映像から被写体の３次元姿勢を推論できるという仮定のもとで実現することができた．このとき，映像からの３次元姿勢推論の精度不足に起因するモーションキャプチャ自体の精度低下という問題が存在していたが，観測映像そのものをもちいた自己教師あり学習の枠組みを考案することによって，この問題を解決することができている．今後は時間的な同期と視点間での被写体の対応付けを解決する必要があるが，その方策についても今年度は基礎的検討を行うことができた．具体的には，空間的なキャリブレーションの場合と同様に，映像から被写体の３次元姿勢を推論できるという仮定のもとで，ある１視点から観測された複数個体の３次元姿勢を方向分布とみなした場合，異なる視点間の相対姿勢のうち，特に回転成分は，方向分布同士を一致させる回転行列そのものであるという考え方に基づく．つまり複数の３次元姿勢が複数の個体から得られたものであれば，方向分布同士の一致は個体間の対応付けを与え，またその際に時刻ずれを考慮して一致させたならば，時間的な同期も同時に行うことができる．この空間的キャリブレーション，時間的同期，視点間での被写体の対応付けという３つの問題を，方向分布同士を一致させる回転行列の推定という１つの問題に帰着させるアルゴリズムについて，来年度は具体的な実装と評価を行うことを予定しており，計画通りの成果が得られることを期待している．
|
| Strategy for Future Research Activity |
研究目標である群れの３次元行動計測のための全自動マーカーレスモーションキャプチャを実現するにあたり，必要となる要素技術は空間的なキャリブレーション，時間的な同期，視点間での被写体の対応付けの３点である．このうち今年度は最初の空間的なキャリブレーションについて，映像から被写体の３次元姿勢を推論できるという仮定のもとで実現することができた．次年度は残る時間的な同期と視点間での被写体の対応付けの解決に取り組む．具体的には，空間的なキャリブレーションの場合と同様に，映像から被写体の３次元姿勢を推論できるという仮定のもとで，ある１視点から観測された複数個体の３次元姿勢を方向分布とみなした場合，異なる視点間の相対姿勢のうち，特に回転成分は，方向分布同士を一致させる回転行列そのものであるという考え方に基づく．つまり複数の３次元姿勢が複数の個体から得られたものであれば，方向分布同士の一致は個体間の対応付けを与え，またその際に時刻ずれを考慮して一致させたならば，時間的な同期も同時に行うことができる．この空間的キャリブレーション，時間的同期，視点間での被写体の対応付けという３つの問題を，方向分布同士を一致させる回転行列の推定という１つの問題に帰着させるアルゴリズムについて，来年度は非線形最適化に基づく実装，EMに基づく実装など複数の実装を評価・検証し，より頑健かつ高精度なアルゴリズムの実現を図る．また被写体についても人物だけではなくラットなどほかの実験動物について取り組むことを予定している．
|
