イベントカメラと波紋運動パタンを用いた屋内外で利用可能なアクティブステレオ

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K19849
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 藤本 雄一郎 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (30755971)
• Project Period (FY): 2020-04-01 – 2022-03-31
• Keywords: ３次元形状計測 / イベントカメラ / 拡張現実感 / プロジェクタ / アクティブステレオ

Outline of Annual Research Achievements

本研究は，光量の微小時間中の変化の有無（方向）のみを観測できるイベントカメラをアクティブステレオに応用するための技術提案および開発を行うものである．当該年度においては以下の三つの項目に取り組んだ
（a）制御投影光に対するイベントカメラの観測情報のモデル化：各種方式のプロジェクタ(液晶，DLP，LCOS)やディスプレイ，レーザー光などの光源を，その投影内容や速度を変化させた各種条件において，イベントカメラにより観測させることで，後のプロセスで問題となるノイズを低減する方法を検討した．
（b）プロジェクタの各画素とカメラの各画素の対応関係の算出：通常，プロジェクタとカメラの対応関係を算出するのに使用されるグレーコードパタンがイベントカメラでは直接使用できないことから，その代わりとなる手法を考案した．具体的には，行，列ごとに周波数の異なるパタンを複数回投影し，それをイベントカメラで観測することで，高精度に対応関係が取得できる方法を考案した．
(c)既知大きさ・形状の対象物を用いたプロジェクタ-カメラ間の３次元位置姿勢の算出：これには一般的なカメラで使用されるキャリブレーションボックスを流用した．ただし，そのままではイベントカメラによるボックス面のパタン観測ができないため，レンズにシャッタを取り付け，高速開閉することで，イベントカメラもボックスも動かさずに，対象物の輝度変化を促しパタン観測する方法を考案した．現在，これらの内容をまとめ国際会議投稿準備中である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実績概要に示した通り，当該年度では，以下の３項目に取り組んだ．
（a）能動的制御投影光に対するイベントカメラの観測情報のモデル化，（b）プロジェクタの各画素とカメラの各画素の対応関係の算出， (c)既知大きさ・形状の対象物を用いたプロジェクタ-カメラ間の３次元位置姿勢の算出
これは，研究立案時に，予定していた通りの項目であり，いずれも，当初予定していた通りの十分な精度で実現した．次年度に跨いで遂行予定であった次の項目は，「今後の研究の推進方策」で示す通り，問題が発生したため，現在対策を検討中である．
上記を鑑み，当初の予定と照らして「（２）おおむね順調に推進している．」とした．

Strategy for Future Research Activity

この後の項目として予定していた，高速検出のためのプロジェクタパタン光について，当初は，水面の波紋のように同心円上に広がる時系列パタン光を利用する予定であったが，試作したところ，当該手法はラインスキャンに近く，想定した処理速度の実現が困難であることが明らかとなった．そのため，現在，局所領域において，明滅変化を使って位置をエンコードする，代わりの方法を検討中である．
さらに，今後，対象とする屋外環境において，３次元形状計測の精度を検証する予定である．

Causes of Carryover

当初参加を予定していた国際会議が，オンライン開催となったことにより，計上していた旅費が不要となり，参加費も大幅に減額したため．これは，翌年度以降，追加の国際会議参加費および旅費として使用する予定である．