2022 Fiscal Year Research-status Report
Development of Pseudo-Visible Color Conversion Technique for Satellite Thermal Infrared Images to Enhance Nighttime Disaster Monitoring
| Project/Area Number |
21K04584
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
外岡 秀行 茨城大学, 理工学研究科(工学野), 教授 (80261741)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 夜間災害 / リモートセンシング / 熱赤外画像 / カラー変換 / 深層学習 / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究は、夜間災害における被害状況の早期把握に資するため、夜間の衛星熱赤外画像を疑似可視カラー変換して解釈性を向上する技術の開発を目的としている。
2022年度は、敵対的生成ネットワーク（GAN）の一種で、2021年度の解析で良好な結果を示したpix2pixに基づく疑似可視カラー変換法について、実際の自然災害の解釈性向上にどの程度の効果があるのかを評価するため、2018年北海道胆振東部地震において発生した大規模な土砂崩れを対象とする解析を行った。使用した画像は地震前及び後の夏季の昼間に観測されたLandsat-8号の可視・熱赤外画像であり、土砂崩れ域周辺の雲が少ない計8画像を選定した。そしてこれらに対して切り出しやデータ拡張の処理を行って計300セットの訓練データを生成した。また、これらとは別に土砂崩れ域を含む検証データを8セット生成し、うち地震後の1つをテストデータとした。そしてこれらを使って疑似可視カラー変換モデルの訓練とテストを行った結果、生成された疑似可視カラー変換画像は土砂崩れ域と植生部の色分けが適切に成されたことを確認した。また、地震前及び後から各1画像を選び、可視画像（正解画像）、熱赤外画像（入力画像）、疑似可視カラー変換画像（生成画像）の鳥瞰図を各々作成して評価したところ、熱赤外画像では地震によって土地被覆に何らかの変化が生じた可能性は示されたものの、それ以上の解釈が困難であったのに対して、疑似可視カラー変換画像では可視画像と同等の解釈性により、土砂崩れの状況を概ね判読できた。これより、昼間画像による評価では、熱赤外画像の疑似可視カラー変換画像は地滑りの被害判読に有用であることを確認した。
2022年度は上記に加え、夜間熱赤外画像の疑似可視カラー変換法の開発に向けたデータセットの整備も行った。2023年度はこれらのデータを使用した手法開発を進める計画である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初計画では、2022年度は夜間の衛星熱赤外画像に対応した疑似可視カラー変換手法を開発する予定であったが、2021年度に開発した昼間画像に対する手法の改良ならびに実際の自然災害への適用性評価を優先して実施すべきとの判断から、これらを中心に研究を進めた。一方、夜間画像に対する手法の開発については、①利用可能な衛星熱赤外画像が昼間よりもかなり少ないこと、②夜間画像には幾何学的なずれが大きいものが多く、個々に補正する必要があること、③夜間は同時観測される可視画像が無いため、異なる時間に観測された適当な可視画像を探す必要があること、などから昼間画像に対する手法開発と比べてデータ整備に多くの時間を要する結果となった。なお、2023年度は、これら整備した訓練データを使って夜間熱赤外画像の疑似可視カラー変換手法の開発を進める予定である。以上を総合して、研究進捗状況としては、「やや遅れ」と判断した。
|
| Strategy for Future Research Activity |
本研究の今後の推進方策として、①これまでに開発した手法の夜間熱赤外画像への適用性評価、②精度向上のための手法改良、③自然災害への適用性評価、④サーマルカメラを用いた地上実験、を予定している。①については、2022年度に訓練データの整備を行っており、これらを用いて行う。②については、熱赤外変化検出手法を組み合わせた手法の検討を進めており、これを継続する。③については、2022年度は地震による地滑りを対象として評価したが、河川氾濫など、他の自然災害に対する適用性も評価する。④については、災害時に地上付近で撮影したサーマルカメラ画像を疑似可視カラー変換する状況を想定した模擬実験を行い、その結果を衛星画像向けの手法開発にフィードバックすることを考えている。
|
| Causes of Carryover |
2021年度及び2022年度の研究成果を論文として取りまとめ、2022年12月に国際学術誌に投稿したところであるが、2022年度末までに掲載に至らなかったため、その掲載料として留保していた予算が未使用となった。当論文は2023年度前半には再投稿する予定であり、未使用額はその英文校正費・掲載料として支出することを予定している。
|
