2021 Fiscal Year Research-status Report
Development of Pseudo-Visible Color Conversion Technique for Satellite Thermal Infrared Images to Enhance Nighttime Disaster Monitoring
| Project/Area Number |
21K04584
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
外岡 秀行 茨城大学, 理工学研究科(工学野), 教授 (80261741)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 夜間災害 / リモートセンシング / 熱赤外画像 / カラー変換 / 深層学習 / 敵対的生成ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究は、夜間災害における被害状況の早期把握への貢献を目標に、夜間の衛星熱赤外画像を疑似可視カラー変換して解釈性を向上する技術について開発を進めている。本年度は、いずれもモノクロ画像のカラー変換が可能である畳み込みニューラルネットワーク（CNN）に基づく手法と敵対的生成ネットワーク（GAN）の一種のpix2pixに基づく手法の既存二手法について、衛星画像を用いた適用性評価を行った。
評価に使用した画像は地球観測衛星Terra搭載の光学センサASTERが昼間に同時観測した可視近赤外RGB画像と熱赤外モノクロ画像であり、主に佐賀県鹿島市周辺の画像を使用した。まず、25ペアの可視近赤外画像及び熱赤外画像をそれぞれ領域分割して1225ペアのサブ画像を生成した。次に、熱赤外画像の季節依存性による影響も評価するため、これらのサブ画像から通年、夏季、冬季の3つのデータセットを作成し、それぞれを学習用90％、テスト用10％の割合で分割した。
評価の結果、CNNでは生成された疑似可視カラー画像において雲が黒色に着色されたり、地表の植生の彩度が低下するなどの問題が見られ、平均誤差（正規化RGB空間における生成画像・正解画像間の平均ユークリッド距離）は通年データセットで0.416であった。一方、pix2pixでは通年データセットの平均誤差が0.164であり、CNNよりも色彩の再現性が高いことが示された。ただし、pix2pixにおいても地形が複雑な山岳域や海の濁水域などでは色の再現性が低下し、また冬季データセットにおいて精度が低下する問題が見られた。冬季の精度が低い理由としては、冬季の画像は全般に温度の空間偏差が小さく、温度差に基づく着色が原理的に難しいことが考えられた。
以上より、pix2pixに基づく手法の有効性を一定程度確認できた一方で、さらに精度を上げるための改良が必要であることが示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度の計画は、昼間に観測された衛星熱赤外画像の疑似可視カラー変換手法を開発することである。これを踏まえ、衛星センサASTERの昼間観測画像を利用して既存二手法の適用性を評価した結果、敵対的生成ネットワーク（GAN）の一種のpix2pixモデルに基づく手法によって概ね妥当な疑似可視カラー変換が可能であることを確認できた。一方で、特に冬季の温度差が小さい画像では原理的にカラー変換が難しいことや、雲に対するカラー変換が難しいことなどの課題も明らかとなった。これらの課題についてはカラー変換モデルを季節によって切り替えたり、雲を事前に除去するなどの対策で一定の改善が見られることを確認したが、他のアプローチとの組み合わせなど、手法の改良に向けた検討が必要であると判断している。これらを総合して、研究進捗状況としては、「概ね順調」と判断した。
|
| Strategy for Future Research Activity |
本研究の今後の推進方策として、①フル解像度のASTERオリジナル画像の利用、②精度向上のための手法改良、③夜間熱赤外画像への適用、④災害対応を想定した検証、⑤サーマルカメラを用いた地上実験、を予定している。①については、初年度は評価データとしてASTERのブラウズ画像を利用したが、実際の利用ではフル解像度のオリジナル画像の利用が想定されることから、これに対応する。②については、精度の向上のため、季節依存性や雲における色再現性の低下について対応策を検討するほか、熱赤外変化検出の応用など、他のアプローチとの組み合わせも合わせて検討する。③については、ASTERの昼間の可視近赤外画像と夜間の熱赤外画像のペア画像を整備して開発手法の適用性を評価するとともに、課題を明らかにし、その改善策を検討する。④については、災害発生前後のASTER画像を収集し、災害の早期把握に対する開発手法の有効性を評価する。⑤については、災害時に地上付近で撮影したサーマルカメラ画像の疑似可視カラー変換への応用を想定して実験を行い、開発手法の評価と改良を行う。
|
