2019 Fiscal Year Research-status Report
Development of active 3D shape reconstruction method from non-perspective cameras
| Project/Area Number |
18K19824
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 晋太郎 東京大学, 生産技術研究所, 特任准教授 (80526799)
|
|---|
| Project Period (FY) |
2018-06-29 – 2021-03-31
|
| Keywords | ライトフィールドカメラ / アクティブ水中3次元計測 / SLAM / 水中ROV / フェイズマスク / DOE |
|---|
| Outline of Annual Research Achievements |
本研究では、以下３つの手法を研究開発し、水中での広範囲なアクティブ３次元復元を実現する。(Ａ) 光線空間計測カメラを用いて、水中シーンを撮影して得られた光線空間を再構成することで中心投影画像の合成を実現する。また、水中でもレーザは直進することから、レーザ平面も平面のままであることを利用して、(Ｂ)共面生に基づくアクティブ・ステレオ３次元復元アルゴリズムを開発する。最終的に、前記（Ａ）と（Ｂ）を組み合わせて、(Ｃ) ＳＬＡＭによる水中での形状計測および運動する人物や魚などの計測・運動解析の実現を目指す。
平成３０年度に（Ａ）については一定の成果が得られたことから、令和元年度は、（Ｂ）と（Ｃ）の実現を目指して研究開発を実施した。具体的には、(Ｂ)においては、前年度シミュレーションと水槽実験にて確認した、複数のラインレーザを投影し、共面性条件を用いてアクティブ方式で３次元復元アルゴリズムについて、実際に水中ロボット（ＲＯＶ）に搭載し大きなプールで計測実験を行い、復元を行った。その結果、水中シーンの３次元復元が可能であることが確認された。さらに、このＲＯＶロボットを動かしながら計測を行い、それら画像列を用いて、（Ｃ）広い範囲の３次元形状復元する手法の研究開発を実施した。そのために、シミュレーション環境を構築し基礎実験を行ったところ、レーザ平面やカメラの内部パラメータなどが推定可能であることが確認でした。これら成果を査読付き会議や研究会へ投稿を行い発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、大きく２つのテーマで研究開発を行い、一定の成果を得ることができたことから、概ね順調に進展していると考える。以下にそれぞれのテーマについての詳細を述べる。
(Ｂ)共面性に基づくアクティブ・ステレオ３次元復元アルゴリズムの開発：
複数のラインレーザを一つのハウジングに入れて同時に投影する場合、中心投影では無くなるが、各ラインレーザを個別のハウジングに封入すれば、水中であっても投影されたレーザは平面のままであり、共面性条件は保存される。前年度に、この共面性条件を利用してた水中アクティブ３次元復元アルゴリズムを開発した。本年度は、奈良先端大学院大学の高松准教授と共同研究により、本システムを実際に水中ロボット（ＲＯＶ）に設置し、プールでの撮影を実施し、実環境における３次元形状復元を試みた。その結果、シーンの正しい３次元形状復元に成功したことが確認できたため、それら成果を国際ワークショップにて発表した。
(Ｃ)ＳＬＡＭによる水中での形状計測および運動する人物や魚などの計測・運動解析：
前述のように、水中ＲＯＶで動きながら計測した複数の３次元形状を統合し、広い範囲を復元する手法を開発するため、その準備のための研究や、基礎研究を行った。まず、ＲＯＶを効率よく制御するため、ＲＯＳによるシステム開発を行い、効率よくシーンを計測できるようにした。さらに単画像における３次元復元アルゴリズムを用いて初期形状を得て、これを連続画像に適用して同時最適化することで高精度に首尾一貫した広範囲の３次元形状復元を実現するアルゴリズムの研究開発に着手し、シミュレーションにより動作確認を行った。並行して通常のワンショット3次元センサによる、ＳＬＡＭアルゴリズムおよび、計測したシーンにおける同物体の検出やトラッキングを実現するための基礎アルゴリズムについての研究開発を進めて、成果を国際会議に投稿し発表した。
|
| Strategy for Future Research Activity |
次年度は、これまでの成果である、（Ａ）水中における光線の再構成による中心投影画像の合成手法と、（Ｂ）水中で複数ラインレーザを用いた共面性アクティブ３次元計測手法と、（Ｃ）連続画像を用いた同時最適化手法による広範囲３次元復元を組み合わせて、「実際にＲＯＶを動かしながら、広い範囲を計測した画像列から、水中の広範囲３次元形状を復元するシステム」を開発する。このための具体的な目標は以下の通りである。
（Ｃ－１）ＳＬＡＭによる水中での共面性復元による形状計測アルゴリズムの開発：
これまでに開発した、共面性水中アクティブ３次元計測システムを搭載したＲＯＶを実際に水中で動かすことで画像列を得て、それら画像列をバンドル調整による同時最適化することで、水中の広範囲な３次元形状を高精度に計測する手法を開発する。その実現のため、複数のラインレーザのパラメータと屈折パラメータを考慮した、新しいバンドル調整手法を研究開発する。
|
| Causes of Carryover |
次年度に実施する実データ実験用の機材や人件費に回すため。
|
