Publicly Offered Research
Grant-in-Aid for Transformative Research Areas (A)
動物・昆虫・魚などの群れに見られる個体間もしくは環境とのインタラクションや，その個体と集団が階層性をもって移動する階層ナビゲーションを定量的にモデル化し，解析・予測へとつなげるためには，各個体を拘束することなく３次元移動軌跡を自動計測する技術の確立が不可欠である．本研究では，カメラ群を設置するだけで自動的に相対位置を理解して，被写体のマーカーレスモーションキャプチャを実現する手法の開発を行う．
本研究は様々な生物の三角測量に基づいたマーカーレスモーションキャプチャを行うにあたって必須となる，複数カメラ間の相対位置姿勢を得るカメラキャリブレーション問題を，撮影された被写体自身の情報のみを用いて解くことを目的としている．一般にカメラキャリブレーションではカメラ間で同一の３次元点を撮影している対応点を取得しなくてはならない．したがって本研究が解く本質的な問題はカメラ間の相対位置姿勢および撮影時刻差が未知の状態で，カメラ間で個体識別をしつつ対応点を得ることができるか，であった．また前年度はこの課題に対してその一部を緩和して，個体識別および撮影時刻差同定がすでになされているとの仮定の下で，カメラ間の相対位置姿勢を頑健に得ることができる新たなアルゴリズムを考案することができていた．これに対して本年度は，個体識別および撮影時刻差の同定をも同時に行うことができるアルゴリズムを新たに考案し，その有効性を定量的に実証することができた．考案した新たなアルゴリズムは，カメラキャリブレーションを既知とした場合に最適な個体間の対応付けを撮影時刻差を考慮しつつ行うステップと，個体間の対応付けおよび撮影時刻差を既知とした場合に最適なキャリブレーションを行うステップの２つのステップから構成されており，後者は前年度に開発したアルゴリズムがそのまま対応している．この２つのステップを交互に繰り返すことによってカメラ間の相対位置姿勢，撮影個体識別，および撮影時刻差のすべてを最適化することが可能となった．これにより本研究が掲げた，実環境で複数台のカメラを設置して被写体の群れを撮影するだけで，全自動でカメラキャリブレーションとマーカーレスモーションキャプチャを行うことができるようになり，生物学など非コンピュータビジョン分野の研究者であっても実環境で複数個体の全自動３次元運動計測を行う道筋をつけることができた．
令和5年度が最終年度であるため、記入しない。
All 2023 2022 Other
All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (3 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)
IEEE Robotics and Automation Letters
Volume: 7(4) Issue: 4 Pages: 10344-10351
10.1109/lra.2022.3192629
https://github.com/kyotovision-public/extrinsic-camera-calibration-from-a-moving-person
