2023 Fiscal Year Research-status Report

Automatic reporting system of current weather information using drive recorder images

Research Project

Project/Area Number	23K11234
Research Institution	University of the Ryukyus
Principal Investigator	遠藤聡志琉球大学, 工学部, 教授 (00223686)
Project Period (FY)	2023-04-01 – 2026-03-31
Keywords	降雨強度予測 / 雲形分類 / ドライブレコーダー / EfficientNet / AlexNet / Grad-CAM
Outline of Annual Research Achievements	ウェザーニューズのウェザーリポートでは、空の写真と体感的な降雨強度情報を組み合わせたユーザーからのリポートを集約し天気予報の精度向上を図っている。本研究では、車載カメラから得られる画像を用い、リアルタイムで降雨強度や雲の種類を自動的に判定し、リポートするシステムの開発を目指している。初年度の研究では、レーダー観測雨量と定点カメラの画像を組み合わせたデータセットを作成し、雲の降雨強度レベルの分類モデルをEfficientNetとAlexNetで構築した。構築モデルによる多値分類手法と降雨の有無判定を前処理とした2段階判定法を比較し、予測精度の検証を行った。EfficientNetを用いた回帰モデルよりも、AlexNetを活用した2段階アプローチが降雨強度レベルの分類において優れた精度を得た。さらに、Grad-CAMの注視点分析により、モデルが降雨強度を判断する根拠を明らかにし、判断根拠の妥当性を確認した。また、ゲリラ豪雨の予兆となる積乱雲及び乱層雲とその他の雲を分類するモデルを構築し70%を超える精度を達成した。成果は3件の学会発表で公表している。これらの成果は、車載カメラ画像を利用して気象観測の空間的密度を向上させることが可能となり、その結果、将来的には気象予報精度の向上やゲリラ豪雨など予測が困難な突発的な天候変化に迅速に対応することが期待できる。これらの成果を踏まえ、2024年度には、セマンティックセグメンテーションの技術を付加した改善モデルに関する研究と時系列予測モデルへの拡張による短期の降雨予測可能性についての研究を中心に展開し技術の高度化を図る。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究では、ドライブレコーダー画像を用いた気象現況情報の自動収集システム構築に必開発技術を、１）大量の画像データの中から気象観測データとして価値の高いものを選択するレーティング技術の開発、と２）選択された画像に対して必要かつ適切なアノテーションを付与するレポーティング技術の開発に大別して段階的に取り組んでいる。１）に関しては、セマンティックセグメンテーション技術を用いて画像の空領域割合が２０%以上となる画像がレポートに適切であることを示した。また、clear,overcast,rainyの単純な分類問題は実用上問題のない高い精度で分類が可能であることを示した。よって課題1)を完了した。課題２について、雲形分類による降雨をもたらす雲のアノテーション、降雨強度の分類問題としての解法モデルを畳み込みニューラルネットにより構築し、その精度評価と特徴量の分析による判断根拠の確認作業を行い、成果公表を通して専門の研究者からフィードバックを得ながら開発を進めている。進捗は概ね当初の計画通り進んでおり、現在は課題２に対して、降雨強度を回帰問題として解くためのモデルの高度化、雲形分類モデルにマスク処理を組み込むことによる精度向上に取り組んでいる。また、研究を進める上で新たに発生した夜間の降雨に関するレポーティングの可能性についても、データセットを構築しモデルの学習実験準備を行なっている。
Strategy for Future Research Activity	今後は、主に課題２）のドライブレコーダー画像に対するアノテーション技術の高度化に関して、降雨強度推定モデルの性能向上に関する研究及び天候変化の時系列性を加味した短時間内での降雨開始を推定するアノテーションモデルの開発への課題を発展させて研究を進める。現在、関係論文のサーベイを終えており、モデル設計を始める予定である。研究計画の変更は無く、研究を遂行する上での課題等は発生していない。
Causes of Carryover	物品費は導入した計算システムが当初の見積額よりも値上がりしていたため15万円ほどの超過となった。旅費についてはほぼ予定額となった。人件費、謝金15万円についてはデータ収集・整理のための学生謝金を想定していたがプログラムで対応したため、謝金を伴う学生雇用を行わなかった。その他の費用を当初20万円で見積もっていたが、学会参加費等の使用額が10万円ほどとなった。よって、合計で7万９千円ほどの残が生じた。現在国際ジャーナルへの論文投稿を行なって査読中であることや、国際会議への論文投稿予定があるため、2024年度のその他経費に次年度使用額を組み入れて使用する予定である。