2022 Fiscal Year Research-status Report
Poaching Surveillance System using Class B AIS Units
| Project/Area Number |
21K04576
|
|---|
| Research Institution | National Institute of Technology(KOSEN), Oshima College |
|---|
Principal Investigator |
岡村 健史郎 大島商船高等専門学校, 情報工学科, 嘱託教授 (60194388)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松村 遼 周南公立大学, 福祉情報学部, 准教授 (20734768)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 密漁監視 / AIS / 海上交通安全 / サーマルカメラ / 画像処理 |
|---|
| Outline of Annual Research Achievements |
本研究は，サーマルカメラと画像処理を用いた自動監視において，画像処理により検出した物体とAIS信号にある船舶名・位置情報を関連付け，検出物体の中から登録された漁船に該当する船舶を除く処理を自動化する安価な監視システムを構築することを目的としている．
今年度の研究においては，実空間における船舶の位置推定が可能な領域を拡大する手法の検討を行った．船舶の位置推定においては，カメラから数百メートルの位置にある海上領域を対象に行っていたが，これをカメラから最大数キロ程度離れた領域を対象に，実世界上の座標上にて，パーティクルフィルターを用いて物体を追跡することが可能であることを確認した．従来，この処理には事前に，監視領域内に座標軸を設定し，巻き尺やレーザーメーターなどを用いてカメラの外部パラメータを推定する必要があった．これに対して，今年度は領域内を航行する船舶から発信されたAIS信号を受信すると同時にカメラからの画像を取得することで，信号に含まれる緯度・経度情報を用いて推定できることを確認した．これにより，カメラの外部パラメータ推定が容易にできるだけでなく，随時更新することに対する手法開発にも目途を立てることができた．最終年度においては，これらの知見を利用してカメラの外部パラメータ推定の自動化を行う予定である．
更に，サーマルカメラから得られた画像内における船舶領域検出の精度向上を行った．従来の手法では，固有空間法を用いて背景を記述し，背景画像とは大きく異なる部分を侵入物体として検出していた．これに対して，今年度は機械学習を用いて船舶領域を検出する手法の応用も行った．これらの手法にはそれぞれ長所・短所があるため，最終年度においてはこれらの検出方法の統合を行う予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，画像処理を用いて監視領域対対象内に存在する船舶を検出し，これらの中か 本研究では，画像処理を用いて監視領域対対象内に存在する船舶を検出し，これらの中からAIS信号を発信している船舶を領域進入許可船と考えて検出対象から取り除き，残った船舶を密漁船の可能性があると判断するシステムを安価に構築することを目指している．
これらのために，初年度および2年目において，AIS信号を発信している船舶を，安価な受信機，小型コンピュータ及び国土地理が発行する地図を利用することで，従来の数分の1のコストで船舶を海図上に表示するシステムを構築した．
更に，数キロメートル四方の領域に存在する船舶をサーマルカメラで撮影し，カメラから得られた画像を対象に船舶領域を検出し，この中からAIS信号を発信している船舶を同定するために，検出した船舶の実世界上（三次元空間上）の座標を決定する必要がある．この座標を正しく決定するためには，カメラの外部パラメータを精度良く推定する必要がある．昨年までは，カメラに近い陸上領域上で座標軸を設定し，レーザーメーターなどで座標を測定しパラメータを推定していたため，遠方領域の位置精度が十分ではなかった．そこで，今年度は作成したAIS受信機を用いて，信号を受信すると即座にカメラから画像をリモート操作により取得し，AIS信号に含まれる緯度経度と画像から得られた船舶領域の画像上の位置を用いてカメラの外部パラメータの推定を行った．これにより座標軸設定の必要がなくなり，利用できるデータ領域が拡大することで精度は大幅に向上した．また，AIS機器を搭載した船舶が侵入するたびに外部パラメータ推定用のデータを取得することが可能になり，パラメータの自動更新なども考えられるようになった．
更には，画像中の船舶領域の推定精度を高めるために，機械学習の手法を取り入れるように考えた．
|
| Strategy for Future Research Activity |
本研究では，画像処理を用いて監視領域対対象内に存在する船舶を検出し，これらの中からAIS信号を発信している船舶を漁業許可船と考えて検出対象から取り除き，残った船舶を密漁船の可能性があると判断する手法の開発を行っている．次年度は3か年計画の最終年度にあたる．
この研究では監視対象領域をサーマルカメラで撮影し，１）進入物体の画像領域を検出する，２）AIS信号を受信し信号に含まれる緯度経度を用いて，１）の処理で検出した物体のAIS信号を発信している物体を取り除く，という二つの処理が最も重要になってくる．
本研究では，上記１）の処理の精度を向上させるために機械学習の手法の利用を始めている．従来から行っている固有空間法を用いた手法との融合を図りその精度向上を最終年度に行う．具体的には，固有空間法により求めた画像全体に対する物体の存在の確からしさ（0より大きな値）と機械学習で求めた物体の存在の確からしさ（０～１の範囲の値）とを用いて画像中の船舶領域の決定を行う．
２）の処理においては，単眼カメラを用いて画像中の領域位置（画素を用いた画像の座標指定）から実世界における三次元空間上の座標を求める必要がある．この処理を行うには，カメラの外部パラメータ（カメラの位置，回転角度）の正確な推定が必要になるが，カメラの状態や潮位から誤差が生じる．そこで，最終年度では，このパラメータを，監視を行いながら画像座標と実世界上の座標データを収集し，逐次更新することで精度の向上を図る．物体の三次元空間上の位置を精度良くもめることができれば，最近傍判定と閾値処理により容易にAIS機器搭載船を見つけることができる．
最終年度においては，上記１），２）の処理に対して，それぞれ以上の改良を行い，AIS機器を搭載していない船舶の検出精度向上を図る．
|
| Causes of Carryover |
本研究のためAXIS社製サーマルカメラ（製品名 1951E，製造国：スウェーデン，キヤノン子会社）を当該年度の予算を用いて注文していた．このカメラは数キロメートル四方の領域を昼夜を問わず監視可能なサーマルカメラで，コンピュータネットワークを通じて動画像を取得可能なネットワーク対応のカメラである．その性能や価格から世界的なシェアはトップレベルで，本研究成果を応用し，実用システムシステムを構築する場合においては考慮しなくてはならないカメラである．
しかし，コロナ感染対策による旺盛な需要及び半導体不足の影響から，納品が遅れ，当該年度中に支払いを済ませることができなかった．そのために，次年度使用額が生じてしまった．
このカメラであるが，令和5年5月23日に注文している代理店から本校へ本体の納品があった．そのため設置とその確認を終了次第，支払いを済ませる予定である．支払額は設置費用を含めると繰越額とほぼ同額となる．
研究には既に設置している旧タイプのカメラを用いていたが，設置状況確認後，すぐに利用を開始し，データを収集する予定である．このカメラは旧タイプのカメラに比べ解像度が2倍になっているため，倍以上の広さの領域を対象に監視が可能になると思われる．このことについて，令和5年度に十分な調査を行う予定である．
|
