2020 Fiscal Year Annual Research Report
Development of underwater active 3D scanning techniques and analysis on underwater structures
| Project/Area Number |
20H00611
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
小池 賢太郎 鹿児島大学, 理工学域工学系, 助教 (30781992)
古川 亮 広島市立大学, 情報科学研究科, 准教授 (50295838)
巻 俊宏 東京大学, 生産技術研究所, 准教授 (50505451)
高松 淳 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (90510884)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | アクティブ3次元計測 / 水中ROV / 水中AUV / 水中SLAM / 水中構造物計測 |
|---|
| Outline of Annual Research Achievements |
水中での形状計測や解析に対する関心が高まっていることから、本研究では、高密度・高精度に広範囲の水中の３次元形状を計測する手法を開発する。提案手法では、ROVやAUVなど水中ロボットに開発する計測装置を搭載し、移動しながら水中の３次元形状を取得し、これらを位置合わせすることで、GPSの使えない水中においても広範囲の形状を計測する。
具体的には、本研究を通して、水中３次元計測の課題である、①屈折の影響や光量の減衰やベースライン不足による精度低下、②電波が届かず見通しの悪い水中での自己位置推定の難しさ、さらに③複数の３次元形状を統合することや計測結果の解析の困難さの解消を目指す。
初年度は、上記課題を解消するため、主に水中アクティブ３次元センサの基礎アルゴリズム開発および検証実験を実施した。具体的には、水中では中心投影カメラモデルが成り立たないため、ライトフィールドによる補正手法や、大きな歪に対応した近似モデルの２つの手法による解決を実現した。また、プロジェクタの光量の減衰については、ｉ）ラインレーザを用いる共面性復元を水中で使用するできるように変更するための理論構築および実装し実験した。これにより、従来のレーザ復元手法では、１本のラインレーザしか使用できなかったのに対し、共面性による本手法では、より多くのラインレーザを用いたグリッドパターンにより、高精度かつ高密度に３次元復元することができることを確認した。また、並行して、水中ロボットに3次元センサを設置して水中で広範囲の形状計測を実現するための水中ロボット開発やロボットに設置する3次元復元計測装置の開発、およびそれらを用いた実験を実施した。具体的にはＲＯＶに、現在開発を進めている水中3次元アクティブセンサを設置して、プールや港湾にて計測テストや精度評価を実施した。これら成果を査読付き会議へ投稿した他、九州大学から特許出願の予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、3つのテーマで研究開発を行った。
(Ａ) フェイズマスクによるアクティブ３次元センサ開発：水中で計測をするためには、屈折の影響を解決する必要がある。そこで、屈折の影響を受けにくい、フェイズマスクを用いた3次元復元アルゴルズムを開発した。フェイズマスクは、投影パターンが距離に応じて変化するため、パターンの模様を識別するだけで、対象までの距離をキャリブレーション不要で獲得できる。ただし、パターンの模様や復元アルゴリズムは自明ではないため、これをEnd-to-endによる深層学習で推定した。成果は、国際的に著名なECCVにて採択され発表を行った。
(Ｂ)共面性に基づくアクティブ・ステレオ３次元復元アルゴリズムの開発：複数のラインレーザを同時に投影する場合、中心投影では無くなるが、水中であっても平面投影されたレーザは平らなままのため、共面性条件は保存される。この共面性条件を利用したアクティブ３次元復元アルゴリズムを水中に適用した。その際、従来とは異なり、カメラとレーザが同時に動くことから新たな定式化を行い、正しく形状復元できることを確認した。これら成果を査読付き国際会議へ投稿した。また、特許出願予定である。
(Ｃ)水槽でのＳＬＡＭ開発：本手法を連続的に実施し、広い形状を取得する水中ＳＬＡＭの開発を行った。具体的には、水中ロボットに3次元センサを設置し、水中での形状計測を実現するためのデバイス開発や制御アルゴリズムを開発し、実際に水槽及びプールにて計測実験を実施した。さらに、水中において得られた共面性復元結果を統合するため、初期位置推定アルゴリズムを開発した。具体的には、カメラを中心投影で近似し、水中画像にDirect Sparse Odometry（DSO）を適用した。その際、レーザを除去するため、深層学習によるマスク推定アルゴリズムを開発した。成果を国内会議で発表予定である。
|
| Strategy for Future Research Activity |
令和３（2021）年度は、主に前年度に開発した水中アクティブ３次元センサの精度向上や安定化および形状の統合を目指す。精度向上に関しては、使用するラインレーザの検出精度を深層学習により向上させることや、共面性復元後のユークリッドアップグレードを安定化させるための改善をソフトまたハードウェアにて実施する。また、フェイズマスクまたはライトフィールドプロジェクタによる復元の安定化も検討する。形状の統合に関しては、アクティブ３次元センサで得られたスパースな３次元復元結果を、複数フレーム連続して用いて統合するアルゴリズムを開発する。具体的には、前年度に得られたカメラの位置姿勢を用いて、複数形状を統合する手法を開発する。さらに統合した形状同士に矛盾がないように、カメラの位置姿勢や物体の微小位置を最適化するバンドル調整アルゴリズムを開発する。
また、並行して、水中ロボットに3次元センサを設置して水中で形状計測するための実験を実施する。水中ロボットは、奈良先端大学および九州大にあるBlueRoboticsおよび、東京大学にあるTritonを対象として、これらロボットに、研究代表者が開発を進める水中3次元センサを設置して、プールや実験水槽にて計測テストやアルゴリズムの検証、精度評価等を実施する。
さらに、水中構造物の検査システムの開発を継続して行う。前年度に引き続き、現状の港湾構造物の見学や維持管理者との打ち合わせ、さらに現地でのテスト計測を実施する。実験や打ち合わせを通して、水中構造物検査の課題を明らかにするとともに、具体的なシステム開発の計画を立てる。
|
