2023 Fiscal Year Research-status Report
Development of Pseudo-Visible Color Conversion Technique for Satellite Thermal Infrared Images to Enhance Nighttime Disaster Monitoring
| Project/Area Number |
21K04584
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
外岡 秀行 茨城大学, 理工学研究科(工学野), 教授 (80261741)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 夜間災害 / リモートセンシング / 熱赤外画像 / カラー変換 / 深層学習 / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究は夜間の災害監視での利用を想定し、夜間衛星熱赤外画像を疑似可視カラー変換して解釈性を向上する技術の開発を目的としている。2022年度までに深層学習に基づく熱赤外画像の疑似可視カラー変換モデルを構築し、昼間観測では地滑り域を含む画像や災害以外の一般画像の解釈性向上に効果があることを確認した。これを受けて2023年度は災害域を含む夜間熱赤外画像に対する性能評価を行った。
まず、昼間観測において良好な結果を示した北海道胆振東部地震を対象に、昼間のLandsat-8可視画像と夜間のASTER熱赤外画像をペアとする訓練データを作成して性能評価を行った。その結果、夜間画像においても疑似可視カラー化は可能であったが、地滑り域と周辺域の輝度差が昼間画像と比べて小さいことなどから性能が下がるケースが見られ、解釈性の向上効果は限定的であった。ただし、訓練に必要な地滑り直後の夜間熱赤外画像を入手できなかったことも性能低下の要因と考えられた。
次に水害への適用を想定し、東日本大震災における津波被害、及び豪州における2010年のサイクロンによる洪水被害を事例とし、それぞれ訓練データを作成して性能評価を行った。その結果、これらの事例では夜間熱赤外画像における浸水部と非浸水部の輝度差が比較的大きいことなどから疑似可視カラー変換による解釈性の向上に一定の効果が見られた。また、訓練データ中の可視画像における水域の色表現が性能に影響することや、訓練データの可視画像に中間処理として水域マスクを適用することで性能向上を図れることも確認した。
以上から、昼間と比較し、夜間の衛星熱赤外画像の疑似可視カラー変換は難易度が高いが、災害の種類や規模、時期等の条件によっては一定の効果が見込めるため、その適用条件を明らかにすること、そして訓練データの拡充や中間処理の導入によって性能向上を図ることが今後の課題である。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
本研究課題の当初の研究期間は2021～2023年度の3年間であり、1年目に昼間の衛星熱赤外画像の疑似可視カラー変換法を開発し、2年目にこれを災害に関連する夜間画像へ対応化し、3年目に手法の検証と改良を進めることを予定していた。しかしながら、昼間画像に対する疑似可視カラー変換は良好な結果が得られたものの、夜間画像に対しては、当初から想定していた夜間熱赤外画像の低い温度コントラストの問題に加え、夜間災害を想定してモデル訓練するための十分な量と質を持つ訓練データが得られない問題により、疑似可視カラー変換の性能が低下するケースが散見された。このため、研究計画を1年間延長し、適用性・適用条件の評価と性能向上の取り組みを継続することとした。以上の経緯を踏まえ、研究進捗状況としては、「遅れている」と判断した。
|
| Strategy for Future Research Activity |
本研究において、今後、重点的に取り組むことは、①訓練データの拡充ならびに中間処理の導入により性能向上を図ること、②災害別の適用性・適用条件を明らかにすること、である。
まず、①の訓練データの拡充については、これまでも複数の衛星センサの画像を試したり、データオーグメンテーションや領域分割によって訓練データの拡充を図ってきたが、高頻度かつ高空間分解能を持つ夜間熱赤外画像が現時点では十分に入手できないことが根本的な問題であると認識している。今後、数年以内には欧米において次世代型の衛星熱赤外センサが相次いで打ち上げられる計画となっており、これらのデータを入手できるようになれば訓練データの作成が容易化すると見込まれるが、現時点では入手できない。そこで、空間分解能は低いものの、高頻度観測を行っている静止衛星センサや極軌道衛星センサの夜間画像を活用して広域災害に対する性能向上を図るほか、転移学習による局所災害に対する性能向上も試みる予定である。
また、①の中間処理の導入については、水害では水域マスクを用いた中間処理によって一定の性能向上が見られたことから、この処理の特性や適用性をさらに調査するとともに、土地被覆分類図や地形図などを活用した同様の中間処理の有効性についても検討する予定である。
また、②については、これまでに地滑りの1事例と水害の2事例を評価しているが、事例数としては不十分であり、またこれらの災害に対し、どのような条件であれば手法を適用できるのか、十分な評価が進んでいないことから、これを継続して行う。また、こうした評価の難しさは①で述べた訓練データ不足に起因していることから、様々な条件下（場所、季節、時刻、積雪、標高、土地被覆等）での訓練データを豊富に収集できる低空間分解能画像を使い、主に広域災害を対象に災害別の適用性と適用条件を評価する予定である。
|
| Causes of Carryover |
当初、2023年度の早い段階で成果を取りまとめて論文投稿する予定であったが、夜間災害に対する夜間熱赤外疑似可視カラー変換の有用性を示すには、さらなる性能向上と適用性評価が必要であると判断した。このため、論文投稿を2024年度に延期することとし、2023年度中に論文掲載料・英文校正費として支出する予定だった予算、ならびに1年の延長に伴って必要となる諸経費分（旅費や消耗品等）を繰り越すこととした。
次年度使用額（738021円）の使用計画は次の通りである。
国際ジャーナル論文掲載費：36万円、英文校閲料：6万円、国内学会発表旅費及び参加費（2名）：16万円、ソフトウェアライセンス費：13万円、消耗品費（メディア等）：2.8万円
|
