• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

群れの3次元行動計測のための全自動マーカーレスモーションキャプチャ

公募研究

研究領域サイバー・フィジカル空間を融合した階層的生物ナビゲーション
研究課題/領域番号 22H05654
研究機関京都大学

研究代表者

延原 章平  京都大学, 情報学研究科, 准教授 (00423020)

研究期間 (年度) 2022-06-16 – 2024-03-31
キーワードコンピュータビジョン / カメラキャリブレーション / マーカレスモーションキャプチャ
研究実績の概要

本年度は研究目標である群れの3次元行動計測のための全自動マーカーレスモーションキャプチャに向けて,特に被写体となる個体の単眼3次元姿勢推定が可能である,すなわち映像を入力として,撮影視点から見た3次元姿勢を推論することができるという仮定のもとで,複数カメラを自動的にキャリブレーションし,全自動マーカーレスモーションキャプチャを行うことが可能であることを示した.キャリブレーションを実現するにあたって,新たな線形解法を導出するとともに,ひとを対象とした実験によってその有効性を実証している.本研究では映像から被写体の3次元姿勢を推論できることを仮定しているが,ひとを対象とした場合は学習済みモデルが広く利用可能であるものの,それらは成人の一般的な歩行や運動動作を対象としているために,高齢者や子供の運動には完全には対応していない.このような問題を解決するために,今年度は特に,実際の被写体の動きにより適合した3次元姿勢推論を行うための自己教師あり学習の枠組みを実現している.すなわち,当初は一般的な事前学習済みモデルを用いて計測を開始しつつ,多視点計測であることを活かして頑健な3次元姿勢推定を行い,その結果を教師データとすることによって映像から3次元姿勢を推定するモデルのファインチューニングを行う.これにより,実際に計測したい被写体とシーンにより特化したマーカーレスモーションキャプチャを,全自動で実現することができることを実証した.実験では,掃除をする,料理をするといった,一般的な事前学習済みモデルには含まれていない動作をする高齢者の日常生活での動きを対象として,反復的な自己教師あり学習によって,モーションキャプチャの精度が向上することを定量的に示している.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究目標である群れの3次元行動計測のための全自動マーカーレスモーションキャプチャを実現するにあたり,必要となる要素技術は空間的なキャリブレーション,時間的な同期,視点間での被写体の対応付けの3点である.このうち今年度は最初の空間的なキャリブレーションについて,映像から被写体の3次元姿勢を推論できるという仮定のもとで実現することができた.このとき,映像からの3次元姿勢推論の精度不足に起因するモーションキャプチャ自体の精度低下という問題が存在していたが,観測映像そのものをもちいた自己教師あり学習の枠組みを考案することによって,この問題を解決することができている.今後は時間的な同期と視点間での被写体の対応付けを解決する必要があるが,その方策についても今年度は基礎的検討を行うことができた.具体的には,空間的なキャリブレーションの場合と同様に,映像から被写体の3次元姿勢を推論できるという仮定のもとで,ある1視点から観測された複数個体の3次元姿勢を方向分布とみなした場合,異なる視点間の相対姿勢のうち,特に回転成分は,方向分布同士を一致させる回転行列そのものであるという考え方に基づく.つまり複数の3次元姿勢が複数の個体から得られたものであれば,方向分布同士の一致は個体間の対応付けを与え,またその際に時刻ずれを考慮して一致させたならば,時間的な同期も同時に行うことができる.この空間的キャリブレーション,時間的同期,視点間での被写体の対応付けという3つの問題を,方向分布同士を一致させる回転行列の推定という1つの問題に帰着させるアルゴリズムについて,来年度は具体的な実装と評価を行うことを予定しており,計画通りの成果が得られることを期待している.

今後の研究の推進方策

研究目標である群れの3次元行動計測のための全自動マーカーレスモーションキャプチャを実現するにあたり,必要となる要素技術は空間的なキャリブレーション,時間的な同期,視点間での被写体の対応付けの3点である.このうち今年度は最初の空間的なキャリブレーションについて,映像から被写体の3次元姿勢を推論できるという仮定のもとで実現することができた.次年度は残る時間的な同期と視点間での被写体の対応付けの解決に取り組む.具体的には,空間的なキャリブレーションの場合と同様に,映像から被写体の3次元姿勢を推論できるという仮定のもとで,ある1視点から観測された複数個体の3次元姿勢を方向分布とみなした場合,異なる視点間の相対姿勢のうち,特に回転成分は,方向分布同士を一致させる回転行列そのものであるという考え方に基づく.つまり複数の3次元姿勢が複数の個体から得られたものであれば,方向分布同士の一致は個体間の対応付けを与え,またその際に時刻ずれを考慮して一致させたならば,時間的な同期も同時に行うことができる.この空間的キャリブレーション,時間的同期,視点間での被写体の対応付けという3つの問題を,方向分布同士を一致させる回転行列の推定という1つの問題に帰着させるアルゴリズムについて,来年度は非線形最適化に基づく実装,EMに基づく実装など複数の実装を評価・検証し,より頑健かつ高精度なアルゴリズムの実現を図る.また被写体についても人物だけではなくラットなどほかの実験動物について取り組むことを予定している.

  • 研究成果

    (3件)

すべて 2022 その他

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (1件) (うち国際学会 1件) 備考 (1件)

  • [雑誌論文] Extrinsic Camera Calibration From a Moving Person2022

    • 著者名/発表者名
      Lee Sang-Eun、Shibata Keisuke、Nonaka Soma、Nobuhara Shohei、Nishino Ko
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 7 ページ: 10344~10351

    • DOI

      10.1109/LRA.2022.3192629

    • 査読あり
  • [学会発表] Extrinsic Camera Calibration From a Moving Person2022

    • 著者名/発表者名
      Lee Sang-Eun、Shibata Keisuke、Nonaka Soma、Nobuhara Shohei、Nishino Ko
    • 学会等名
      International Conference on Intelligent Robots and Systems
    • 国際学会
  • [備考] Extrinsic Camera Calibration From a Moving Person

    • URL

      https://github.com/kyotovision-public/extrinsic-camera-calibration-from-a-moving-person

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi