2023 Fiscal Year Research-status Report
船上・陸上カメラネットワークによる港湾環境三次元認識システム
| Project/Area Number |
22K04551
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
山本 茂広 神戸大学, 海事科学研究科, 准教授 (60294261)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 岳 静岡大学, 工学部, 教授 (60228418)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 船舶 / 自律航行 / 自動着岸 / ステレオカメラ / 多眼ステレオ / 三次元計測 / 画像認識 |
|---|
| Outline of Annual Research Achievements |
本研究は，港湾部における航行船舶の動向を自動的に監視し誘導できるような，視覚を中心とした高度で総合的な海上環境認識技術の開発を目的とする。そのために，陸上，および，船舶にカメラを設置，あるいは，搭載して写っている物体の認識と位置計測を行う。
2023年度は，まず，陸上設置カメラからの船舶監視では，船舶の特徴的な複数個所の部位を深層学習により認識し，ステレオ計測により三次元位置を測定することで船舶の位置や姿勢を計測する手法を開発した。また，比較のためLiDARセンサによる計測も検討した。
船舶搭載カメラの利用については，前年度に取得した動画データの解析を進めた。カメラキャリブレーション手法の検討，位置計測誤差原因の分析，計測結果の時系列処理の方法などを検討した。また，他船を検出・計測するだけでなく，岸壁を認識しその位置を計測する手法を考案した。岸壁は船舶と違って画像上および三次元空間上で広い範囲に分布しているため，最初に岸壁を認識させたあと特徴点を検出し左右の画像間でマッチングをとって三次元位置を計測することにより，岸壁の位置分布を得た。また，海上から陸上構造物の三次元位置を計測し，それらの見え方の変化から自船の位置，方位の変化，船速を計測することも検討し，よい精度で計測できることが分かった。
最後に，新たにカメラ３台を船舶に搭載して多眼ステレオ計測のための動画データを取得した。カメラを水平方向だけではなく，高さ方向にも立体的に配置することで，対応点探査の高精度化や計測誤差の軽減，カメラの振動によるブレの補正などが期待され，効果を検討しているところである。また，レーダの影像も入手し，比較や併用も検討している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究はおおむね順調に進んでいると考えている。交付申請書に記載した研究計画と照らし合わせても，2022～2023年度にかけて実施するとしていた「船体各部の位置を精密計測し，船体の三次元モデルを構築する」が実施できた。しかし，カメラ配置の最適化アルゴリズムの検討や，カメラの向きを固定ではなく可動にする場合の検討がまだ残っており，引き続き研究を続ける予定である。
2023～2024年度に実施するとしていた「船上設置カメラによる環境認識」については，前倒しで2022年度から着手していたこともあり，かなり進んだと考えている。「他船や障害物の検出と位置計測，岸壁の検出と自船との相対位置姿勢計測」については，本年度まででほぼ達成できた。また，「船上から見える地上構造物の認識とマッチングから，自船がどのような位置，姿勢にあるかをリアルタイムに計測」することも，リアルタイムという点を除いて達成できている。今後処理速度を上げる工夫をしていく予定である。さらに，「多眼ステレオ計測を用いるなど，一層高精度なステレオ計測手法の開発」についても，データを取得したので，今後詳しく解析を行っていく。
研究成果については，国内学会で５件の口頭発表を行った。また，国内外のジャーナルへの投稿を準備中である。
|
| Strategy for Future Research Activity |
次年度は，研究計画の最終年度にあたるため，当初の研究計画に沿って研究をまとめる方向で進めていく。陸上にカメラを設置する場合は，カメラ配置の問題が未解決のまま残っているので，これを検討する。計測の精度や監視範囲，コストなども考慮してカメラの台数や設置場所，向きなどを最適化するアルゴリズムを考案する。このとき，カメラの向きを可動にすることも検討する。それには，リアルタイムでカメラの向きを求めるキャリブレーション手法が必要になり，その手法を開発する。
船上カメラ利用では，本年度に３台のカメラで撮影した動画の解析を進めて，三次元位置計測精度の高精度化を追求していく。特に航行中のわずかなカメラのブレでも数キロメートル離れた物体の計測精度に大きく影響することが分かっているため，このブレを相殺して影響を低減する手法を検討する。その他，船舶や岸壁以外に，橋脚，防波堤，航路標識など海上画像で認識できる物体を増やし，船舶周辺のどこに何があるかを示す環境地図を作ることを考える。
陸上にカメラを設置する場合も船上にカメラを搭載する場合も処理速度の向上は課題であり，その改善の見込みを検討する。最後に，陸上カメラと船上カメラから得られる情報のほか，AIS情報やレーダ画像から得られる情報も統合して，最終的に船舶の安全な航行のために得られる情報を整理し提言する。
|
| Causes of Carryover |
（理由）論文の投稿を準備していたが当該年度には間に合わなかった。
（使用計画）英語論文の校閲料や論文の投稿・掲載料として使用したいと考えている。
|
Research Products
(5 results)
