Wave height measurement using computer vision

2018 Fiscal Year Annual Research Report

• Project/Area Number: 16K18319
• Research Institution: Tokyo University of Marine Science and Technology
• Principal Investigator: 松本 洋平 東京海洋大学, 学術研究院, 助教 (80572081)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 画像処理 / 波高計測 / 深層学習

Outline of Annual Research Achievements

単眼カメラで海面を撮影した映像データから画像処理で波高を計測することを目標とし下記の項目を達成した。
(1) 小型船舶に前方の映像データと運動データをタイムスタンプを押しながら同時に取得する仕組みを構築し、多数のデータを収集した。(現在、学習に使える良質なデータは30時間程度)
(2)　映像データをLSTM(Long Short Term Memory)を含む多層ニューラルネットワークの入力とし、運動データから抽出したパワースペクトルの学習を繰り返した。
(3) 建造物に近接した状態での画像処理的にカメラの運動を解析、IMUの運動データと照合し、IMUの誤差が極めて大きいことを明らかにした。(長期的な加速に弱い。加速度の向きを鉛直下向きと想定して積分誤差に対応しているためと思われる)
(4) 小型船舶の運動モデルを構築し、実データに対してパラメータ抽出を行った。
本来は波高が計測されている海域でデータを収集し、映像から抽出した波高と比較する予定であったが、計画立案当初存在した野島崎の波高計が撤去され、やむを得ず、IMUで得た小型船舶の運動スペクトルとの関係を深層学習を用いて抽出することとした。現在のところ、深層学習がうまくいっておらず、その原因は(a)IMUの精度不足、(b)データ毎に実験条件(特に風の影響が大きい)が異なり安定した結果が得られない、(c)小型船舶の本来の運動と波の影響を分離できていない等の原因を考えている。より多くのデータを得て学習を繰り返せば、深層学習がそれらの問題を分離して正解に至る可能性はあるが、得られる計算機パワーやデータ量の両面で難しいと考えている。小型船舶の運動モデルを構築し、そこに風向、風速等の影響をモデル化して、それらを深層学習の外で予測することを考えている。