| 研究課題/領域番号 |
22K04551
|
|---|
| 研究機関 | 神戸大学 |
|---|
研究代表者 |
山本 茂広 神戸大学, 海事科学研究科, 准教授 (60294261)
|
|---|
| 研究分担者 |
橋本 岳 静岡大学, 工学部, 准教授 (60228418)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 船舶 / 自律航行 / 自動着岸 / ステレオカメラ / キャリブレーション / 三次元計測 / 画像認識 |
|---|
| 研究実績の概要 |
本研究は，港湾部における航行船舶の動向を自動的に監視し誘導できるような，視覚を中心とした高度で総合的な海上環境認識技術の開発を目的とする。そのために，陸上，および，船舶にカメラを設置，あるいは，搭載して写っている物体の認識と位置計測を行う。カメラを使って物体の三次元位置を計測するには，カメラを２台以上用いたステレオ画像計測がよく用いられる。これは，それぞれのカメラで対象物体へ視線を求めてその交点から三次元位置を求めるものであるが，このときカメラ自体の設置位置と向きをあらかじめ調べておく必要がある。この作業をカメラのキャリブレーションと呼ぶ。一般に，画像に写っている物体の画像座標と三次元座標の組を何組も測ることでキャリブレーションが行われるが，三次元座標の正確な測定は困難であり，また，本研究目的のように海を背景とした画像では，キャリブレーションに適した物体がそもそもあまり多くない。そこで，2022年度は，まず，キャリブレーション方法について検討し，キャリブレーション用に三次元座標を測定する物体の数を極力少なくしても，三次元座標が分からなくても各画像に共通して写っている物体の画像座標を利用することで，精度を落とさずにステレオカメラのキャリブレーションを実施する手法を開発した。この手法を利用して，陸上にカメラを多数設置し，多角的に船舶各部の位置を計測する実験を行った。また，船舶にもステレオカメラを搭載してキャリブレーションを実施したあと，実際の航海の画像を撮影した。この動画を解析し，画像中から船舶を自動で検出し，その位置を測定するプログラムを作成した。その測定した船舶の位置は，AIS（船舶自動識別装置）で得られた情報と比較できるように準備した。一方，着岸時などに岸壁の船舶の相対位置・姿勢を単眼カメラで計測する手法も併せて検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究はおおむね順調に進んでいると考えている。交付申請書に記載した研究計画と照らし合わせても，2022～2023年度にかけて実施するとしていた「陸上に設置したカメラ群を用いた船舶やその他の障害物の検出・認識と位置姿勢計測，検出物体の時間軸での追跡方法についての研究」のうち，「カメラ間のエピポーラ幾何を利用し，背景の三次元計測点も加えてカメラ方向をより精密に校正する手法」をほぼ確立した。また，それにより「船体各部の位置を精密に計測し，船体の三次元モデルを構築する」ための基礎ができた。しかし，カメラ配置の最適化アルゴリズムの検討や，カメラの向きを固定ではなく可動にする場合の検討がまだ残っており，引き続き研究を続ける予定である。
また，2023～2024年度にかけて実施するとしていた「船上設置カメラによる環境認識の研究」については，前倒しである程度実施した。まず，概要でも述べたとおり船舶にステレオカメラを搭載して動画を記録し，その動画を解析して研究を進められる準備を整えた。さらに，「着岸時などは，自船と岸壁などの相対的な位置や姿勢，さらには，相対速度が重要であり，船上から見える地上構造物の認識とマッチングから，自船がどのような位置，姿勢にあるかを計測する」研究もおこなった。
研究成果としては，3件の国内学会での口頭発表を行った。内2件の発表で，研究協力者の大学院生が電気関係学会関西連合大会奨励賞，および，映像情報メディア学会関西支部優秀論文発表賞を受賞するなど，高い評価を受けている。
|
| 今後の研究の推進方策 |
今後も原則として当初の研究計画に沿って研究を進めていく。まず，陸上に設置したカメラ群を用いた研究では，シミュレーションによりカメラ配置の最適化アルゴリズムを検討していく。また，既に開発済みのステレオカメラのキャリブレーション方法をカメラの向きを可動にした場合に応用することを検討する。その結果を利用し，船体各部の位置を精密に計測し，船体の三次元モデルを構築し，実際の船舶とマッチングをとることで，船舶の位置や姿勢を精密に求めることを検討する。
船上設置カメラによる環境認識の研究では，本年度に取得した実航海中のステレオ動画を使って，解析や新手法を開発する。まず，船舶だけでなく，岸壁，防波堤，航路標識，橋脚などを学習させ，ステレオ計測による三次元位置の計測とともに「どこに何があるのかを」認識させる。そのために，GPU搭載の高性能PCを用意し，深層学習による物体検出と認識を取り組み始めている。また，時系列画像上で物体を追跡していくことで，誤検出を減らしたり，位置計測誤差を平滑化することを考える。
さらに，着岸時などを想定して，本年度は単眼カメラを用いて行った岸壁と自船の相対位置・姿勢を求める研究をステレオカメラの使用に拡張して，計測精度を高めることを検討する。
研究体制については，本年度と同様に研究分担者と密接に連絡をとりながら進め，データの取得，実験の補助，基礎的な解析は研究協力者として研究代表者の所属する神戸大学大学院海事科学研究科の大学院生（博士課程後期課程，前期課程）にも協力を仰ぐことを考えている。
|
| 次年度使用額が生じた理由 |
(理由）研究成果を国際ジャーナルに投稿し，英文の校正費や投稿料に充てようと思っていたが，論文の執筆が遅れてしまった。
(使用計画）次年度以降，積極的に研究成果を発表したいと考えており，その費用に充てる予定である。また，当初予定になかったが，本研究で行っているステレオ計測の精度の比較・検証用にLIDARセンサの購入を検討している。
|
