OceanVision: Ocean Weather Forecasting by Integrating Physical Models and Machine Learning

• Project/Area Number: 21H04913
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 62:Applied informatics and related fields
• Research Institution: Shiga University
• Principal Investigator: 飯山 将晃 滋賀大学, データサイエンス学系, 教授 (70362415)
• Project Period (FY): 2021-04-05 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥41,210,000 (Direct Cost: ¥31,700,000、Indirect Cost: ¥9,510,000); Fiscal Year 2024: ¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000); Fiscal Year 2023: ¥12,480,000 (Direct Cost: ¥9,600,000、Indirect Cost: ¥2,880,000); Fiscal Year 2022: ¥9,490,000 (Direct Cost: ¥7,300,000、Indirect Cost: ¥2,190,000); Fiscal Year 2021: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
• Keywords: 深層学習 / 物理モデル / 海況データ / 時系列予測 / 海洋気象データ / 機械学習 / リモートセンシング / 気象データ

Outline of Research at the Start

物理モデルと機械学習を統合した精密で高精度な気象予測技術の開発を目的とする．本研究では対象として，海洋気象の短期予測を取り扱う．代表者らがこれまでに取り組んできた散乱モデルとコンピュータビジョンを統合した技術の研究で得られた知見に加え，海洋気象データと水産データを用いた機械学習手法の研究で得られた海洋気象に関する知見を用い，物理法則から逸脱せず高精細で高精度の短期気象予測を実現するアプローチを提案する．

Outline of Annual Research Achievements

物理モデルと機械学習を統合した精密で高精度な気象予測技術の開発という目標に向けて本年度は主に以下の3点について研究開発を行った．
(1) 機械学習によって衛星観測から海面水温を推定する手法について研究を行った．従来，気象衛星ひまわり9号から観測されるマルチバンドの情報より海面水温を物理モデルによって推定する手法が提案されてきたが，雲による散乱等によって精度低下や欠測が生じていた．これに対し，アンサンブル学習によって雲による影響を考慮しつつ高精度で海面水温が予測する手法を開発した．
(2) 海流による水塊の移動を考慮した深層学習による海面水温の短期予測手法を開発した．物理法則に基づいて予測される水温情報に対し，学習ベースオプティカルフローを用いた変位推定と衛星観測データとを統合することで，物理シミュレーションでは精度が低下する箇所について水温予測精度の向上を果たした．
(3) 昨年度に引き続き，深層deformationモデルによる水温予測について研究を行った．流速に基づくdeformationでは十分な精度が得られないことが判明したため，deformationのパラメータ自体も推定対象とする手法の開発を試みた．
(1)(2)についてはリモートセンシングの国際会議に採択され，2024年度に発表予定である．(3)についても基礎理論は開発を終えており，手法のチューニングと評価を行う段階にある．また，当初研究にはなかった副次的な研究成果として，面的な海面水温超解像技術を転用することで海底地形の超解像を実現する手法を開発し従来手法を上回る精度を達成した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

海面水温の短期予測手法について，当初計画で予定してた項目のうちend-to-end学習部分以外の項目については一点の研究成果が得られた，もしくは得られる目処がついた．
本研究課題を進める過程で，副次的な成果として当初計画にはなかった海洋データの超解像についても成果が得られており，おおむね順調に研究が進展している．

Strategy for Future Research Activity

物理モデルと深層学習との関係については，研究計画立案時では着目されていなかったサロゲートモデルが，近年海外で盛んに研究されている．2023年度の成果(1)はそこで得られた知見を一部反映したものであるが，まだ精度向上の余地がある．
2024年度は国内外の研究成果も取り入れつつ，物理モデルと機械学習の互いの利点を取り入れた短期予測手法を確立させて行く予定である．

Research Products

• [Journal Article] High-resolution Bathymetry by Deep-learning based Point Cloud Upsampling (2024)
  • Author(s): Naoya Irisawa, Masaaki Iiyama
  • Journal Title: IEEE ACCESS Volume: 12 Pages: 4387-4398
  • DOI: 10.1109/access.2023.3349149
  • Peer Reviewed / Open Access
• [Journal Article] Deep Depth from Focal Stack with Defocus Model for Camera-Setting Invariance (2023)
  • Author(s): Fujimura Yuki、Iiyama Masaaki、Funatomi Takuya、Mukaigawa Yasuhiro
  • Journal Title: International Journal of Computer Vision Volume: - Issue: 6 Pages: 1970-1985
  • DOI: 10.1007/s11263-023-01964-x
  • Peer Reviewed / Open Access
• [Journal Article] Fishing Ground Estimation using Deep-learning-based Keypoint Detector (2023)
  • Author(s): Shuma Nakata, Kazuki Takasan, Masaaki Iiyama
  • Journal Title: IEEE OCEANS Volume: -
  • Peer Reviewed
• [Journal Article] Deep learning models to predict sea surface temperature in Tohoku region (2022)
  • Author(s): Kalpesh R. Patil, Masaaki Iiyama
  • Journal Title: IEEE Access Volume: Vol.10 Pages: 40410-40418
  • DOI: 10.1109/access.2022.3167176
  • Peer Reviewed / Open Access
• [Journal Article] Dehazing cost volume for deep multi-view stereo in scattering media with airlight and scattering coefficient estimation (2021)
  • Author(s): Yuki Fujimura, Motoharu Sonogashira, Masaaki Iiyama
  • Journal Title: Computer Vision and Image Understanding Volume: 211 Pages: 103253-103253
  • DOI: 10.1016/j.cviu.2021.103253
  • Peer Reviewed / Open Access
• [Journal Article] Cloud-Free Sea-Surface-Temperature Image Reconstruction From Anomaly Inpainting Network (2021)
  • Author(s): Nobuyuki Hirahara, Motoharu Sonogashira, Masaaki Iiyama
  • Journal Title: IEEE Transactions on Geoscience and Remote Sensing Volume: 60 Pages: 1-11
  • DOI: 10.1109/tgrs.2021.3111649
  • Peer Reviewed / Open Access
• [Journal Article] Deep Neural Networks to Predict Sub-surface Ocean Temperatures from Satellite-Derived Surface Ocean Parameters (2021)
  • Author(s): Kalpesh R. Patil, Masaaki Iiyama
  • Journal Title: Soft Computing for Problem Solving Volume: - Pages: 423-424
  • DOI: 10.1007/978-981-16-2712-5_35
  • ISBN: 9789811627118, 9789811627125
• [Presentation] U-Net+RAFT: RAFTによる物理シミュレーションデータの変形を用いた深層学習による海面水温の推定 (2024)
  • Author(s): 福山 翔太, 飯山 将晃
  • Organizer: 情報処理学会全国大会
• [Presentation] キーポイント検出器を用いた海水温データからの漁場推定 (2023)
  • Author(s): 中田 柊馬, 飯山 将晃
  • Organizer: 電子情報通信学会総合大会
• [Presentation] キーポイント検出モデルによる海面水温画像からの漁場位置推定 (2022)
  • Author(s): 中田 柊馬, 飯山 将晃
  • Organizer: 第36回人工知能学会全国大会
• [Presentation] グラフ畳み込みを用いた点群超解像による海洋水深データのデータ拡張 (2022)
  • Author(s): 庄内 道博, 入澤 直矢, フバチ ロベルト, 飯山 将晃
  • Organizer: 日本地球惑星科学連合2022年大会
• [Presentation] サステナブル漁業に向けた人工知能技術の活用 (2022)
  • Author(s): 飯山 将晃
  • Organizer: 第51回産応協セミナー
  • Invited
• [Presentation] FishTech :パターン認識技術の漁業への応用 (2022)
  • Author(s): 飯山 将晃
  • Organizer: 第22回食料生産技術研究会
  • Invited
• [Presentation] データサイエンスの海洋・水産分野への応用 ～データサイエンスは良い漁場を見つけられるのか?～ (2022)
  • Author(s): 飯山 将晃
  • Organizer: 水産海洋学会 九州沖縄地区合同シンポジウム
  • Invited
• [Presentation] Evaluation of Efficiency of U-Net against Multiple Deep MLPs for Daily SST Prediction (2022)
  • Author(s): Kalpesh R. Patil, Masaaki Iiyama
  • Organizer: Ocean Science Meeting
  • Int'l Joint Research
• [Presentation] 時系列予測と画像インペインティングによる海面水温画像の修復 (2022)
  • Author(s): 飯田 琢矢, 笠原 秀一, 近藤 一晃, 飯山 将晃
  • Organizer: 情報処理学会全国大会
• [Presentation] ピクセルごとのディスクリミネータを用いた海水温画像の欠損修復と超解像 (2022)
  • Author(s): 佐藤 雄志, 笠原 秀一, 近藤 一晃, 飯山 将晃
  • Organizer: 情報処理学会全国大会
• [Presentation] 学習ベースの重み付き最小二乗法による単一光源下での散乱除去 (2021)
  • Author(s): 住江 祐哉, 藤村 友貴, 薗頭 元春, 飯山 将晃
  • Organizer: 画像の認識・理解シンポジウム