| Project/Area Number |
20H00611
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
巻 俊宏 東京大学, 生産技術研究所, 准教授 (50505451)
小池 賢太郎 国立研究開発法人海上・港湾・航空技術研究所, 港湾空港技術研究所, 主任研究員 (30781992)
佐藤 啓宏 京都先端科学大学, 工学部, 講師 (00607591)
唐 毅 北見工業大学, 工学部, 助教 (10975486)
古川 亮 近畿大学, 工学部, 教授 (50295838)
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
THOMAS DIEGO 九州大学, システム情報科学研究院, 准教授 (10804651)
岩口 尭史 九州大学, システム情報科学研究院, 助教 (50845526)
高松 淳 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員教授 (90510884)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥44,330,000 (Direct Cost: ¥34,100,000、Indirect Cost: ¥10,230,000)
Fiscal Year 2024: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
Fiscal Year 2023: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
Fiscal Year 2022: ¥12,610,000 (Direct Cost: ¥9,700,000、Indirect Cost: ¥2,910,000)
Fiscal Year 2021: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
Fiscal Year 2020: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
|
|---|
| Keywords | アクティブ3次元計測 / 水中ROV / 水中AUV / 水中SLAM / 水中構造物計測 / SLAM |
|---|
| Outline of Research at the Start |
水中での形状計測や解析に対する関心が高まっている。本研究では、高密度・高精度に広範囲の水中の３次元形状を計測する手法を開発する。提案手法は、単画像から形状復元可能なため、複数画像間の複雑な屈折の関係や見え方の違いなどを考慮する必要がなく、水中での計測に適している。さらに、視点移動が可能なことから、ROVやAUVなど水中ロボットに搭載し、移動しながら水中の３次元形状を取得し、これらを位置合わせすることで、GPSの使えない水中においても広範囲の形状を計測できる。提案システムにより、海底の詳細な地形図の作成や水中構造物の定点観測による老朽化の解析など、幅広い応用や実社会での利用が期待される。
|
| Outline of Annual Research Achievements |
水中での形状計測に対する関心が高まっていることから、本研究では、高密度・高精度に広範囲の水中の３次元形状を計測する手法を開発する。提案手法では、ROVやAUVなどに水中ロボットに、本課題で開発した計測装置を搭載し、移動しながら水中の３次元形状を取得・統合することで、GPSの使えない水中において広範囲の形状計測を実現する。
具体的には、水中３次元計測の課題である、①屈折や光量減衰、ベースライン不足によるアクティブ計測の精度低下、②電波が届かず見通しの悪い水中での自己位置推定の困難さ、さらに③複数の３次元形状を統合・解析手法を提案する。
初年度は、水中アクティブ３次元センサの基礎アルゴリズムの開発および、水中ロボットを用いたテストを屋内プールにて実施し特許出願した。
2021年度は、開発した水中アクティブ３次元センサを用いた性能評価と、広範囲計測のためのアルゴリズム開発および、水中ロボットに3次元センサを設置して水中で形状計測するための実験を屋外（横浜港湾）にて実施した。その結果、屋外では水質が非常に悪いこと、また水中GPSの位置決め精度が空中のGPSなどに対して非常に低いことなどが判明した。そこで、2022年度は、音響ソナー（DVL）を用いた自己位置を初期値として、広域な水中を復元するSLAMにおける基礎アルゴリズムを開発した。さらに、そうして得られた初期値を用いて全体最適化を実現するバンドル調整法を開発した。また、港湾などにおける低画質の水中画像を、より鮮明かつカラーバランスの正しい画像に改善する深層学習手法を新たに開発した。それらの成果は国内外の著名な会議に採択され発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度（2022年度）は、以下に述べる大きく3つのテーマで研究開発を行った。それぞれの進捗状況を鑑みるに、概ね順調に進展していると言える。
(Ａ) 光切断法によるライン形状のブロック化によるＳＬＡＭ手法：提案手法は、光切断法による３次元センサを動かしながら得られた複数フレームの３次元形状を統合することで、広域な水中の地形や構造物を取得するＳＬＡＭアルゴリズムである。本年度は、個々の復元におけるスパースな３次元点群と、撮影された画像特徴点を用いて得られた個々のカメラ位置姿勢を初期値として、バンドル調整により全体最適化する手法において、フレーム単位だと形状がスパースなため不安定となることから、４０フレーム程度をブロック化することで安定した処理を実現した。成果を、画像の認識・理解シンポジウム(MIRU2022)にて発表した。
(Ｂ) 音響ソナーとカメラの自己校正による広域の水中３次元復元：また、港湾など屋外の水中シーンでは透明度が低いことや、堆積物により表面が単一色であることから、撮影画像から特徴点を抽出することが困難な場合が多い。そこで、水中ロボットに音響ソナーを設置して初期位置・姿勢を得るシステムを構築した。音響ソナーと、3次元計測用カメラとの間の位置姿勢の関係は未知のため、これを校正するアルゴリズムを開発した。成果を、情報処理学会CVIM研究会にて発表した。
(Ｃ) 深層学習による水中画像の画質改善手法の開発：実際に港湾などにおいて計測した画像を検査に用いるためには、より鮮明かつカラーバランスの正しい画像が必要であることが判明したため、深層学習により水中画像の画質改善を実現する手法を新たに開発した。Neural ArchitectureSearch (NAS)を用いた手法を提案したところ既存手法を上回る性能を示した。成果は国際的に著名なACCV会議に採択され、発表した。
|
| Strategy for Future Research Activity |
2022年の港湾における実験の結果、実際の環境においては、水質が悪いことがほとんどであり透明度が著しく低く、アクティブ3次元センサの計測範囲が数メータ以内にとどまることが判明した。また、水中GPSセンサも水中構造物によるマルチパスやベースライン不足などのため不安定であることが判明した。
このため、2023年度は、音響センサ・ソナーを使用することで、水中ロボットのグローバルな位置や姿勢精度を向上・安定化させるアルゴリズムを開発する。さらに、音響センサの一つであるDVLセンサによる速度情報を用いて、これまで開発してきたアクティブ3次元センサの計測結果を安定して統合するアルゴリズムを開発する。具体的には、得られた個々の光切断法による３次元点群と、DVLやIMUで得られた位置姿勢、および音響ソナーで得られた初期形状の全てを用いて、バンドル調整により全体最適化する手法を開発する。
また、昨年度と同様、水中ロボットに3次元センサを設置して水中で形状計測するための実験を実施する。水中ロボットは、九州大にあるBlueRoboticsおよび、東京大学にあるTritonを対象として、九州大学のプールおよび東大巻研究室の管理する実験水槽または平塚・下田の海域試験場にて計測テストやアルゴリズムの検証、精度評価等を実施する。その際に、水中構造物や障害物を検知し、衝突を回避する経路探索る手法を開発する
それらの計測結果を基に、水中構造物の計測・検査システムの開発を行う。前年度に引き続き、現状の港湾構造物の見学や維持管理者との打ち合わせ、さらに現地でのテスト計測を実施し、水中構造物検査の課題を明らかにするとともに、具体的な検査システム開発を進める。
|
