Using a new deep learning approach to properly segment multiscale geographic objects

• Project/Area Number: 22KF0051
• Project/Area Number (Other): 22F21301 (2022)
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Multi-year Fund (2023); Single-year Grants (2022)
• Section: 外国
• Review Section: Basic Section 04010:Geography-related
• Research Institution: University of Tsukuba
• Principal Investigator: 松下 文経 筑波大学, 生命環境系, 准教授 (80361319)
• Co-Investigator(Kenkyū-buntansha): YANG JIAN 筑波大学, 生命環境系, 外国人特別研究員
• Project Period (FY): 2023-03-08 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥2,200,000 (Direct Cost: ¥2,200,000); Fiscal Year 2023: ¥1,100,000 (Direct Cost: ¥1,100,000); Fiscal Year 2022: ¥1,100,000 (Direct Cost: ¥1,100,000)
• Keywords: 屋根の抽出 / 深層学習 / U-Net / 目標分布の不均衡 / 転移学習

Outline of Research at the Start

本研究は、深層学習のアプローチをベースとした様々なサイズの地理オブジェクトに対応できる、高空間解像度の土地被覆マッピング手法の開発に関するものである。具体的に以下の3つのステップから構成される：（１）YOLOという深層学習アプローチを用いて、様々なサイズの地理的オブジェクトを検出する、（２）検出された地理オブジェクトのサイズによって、それぞれの画像セグメンテーションのための最適なスケールを決定する、（３）異なるサイズのセグメントに対して、地理オブジェクトの再分類を行う。以上によって、マッピングの精度を向上する。

Outline of Annual Research Achievements

深層学習技術を用いた屋根の抽出に関する研究は、コンピュータービジョン分野とリモートセンシング画像処理分野において盛んに行われながらも挑戦的な研究分野である。ただし、ほとんどの研究はさまざまな深層学習モデルの開発と改良に焦点を当てており、ネットワーク構造の基本要素と画像構成のバランス（すなわち、屋根と背景の比率）の調査に焦点を当てた研究は少ないのが現状である。そこで本研究は、ネットワーク構造の基本要素（Backboneやネットワークの深さなど）およびトレーニング画像の構成バランスを、世界中で広く利用されているU-Netを用いて調査した。まず、既存の深層学習ネットワーク（VGG13、VGG19、ResNet18、DarkNet19、ResNet50、DarkNet53）に対して総合的な分析を行った。その結果、事前に大量のトレーニングデータで学習したBackboneに基づく再学習は、ネットワーク構造の改善や学習層（ネットワークの深さ）を増やすよりも、屋根の分類精度が高くなる。また、トレーニング画像における屋根の占有率（imbalance問題）が抽出精度に大きな影響を与えることも明らかにした。さらに、先行研究で提案されたネットワークの残差構造が屋根の抽出に負の影響を及ぼす可能性があることも示した。以上を踏まえ、残差構造をU-Netに取り込まないこと、事前に学習したU-NetのBackboneを再学習させること、画像構成のバランスを考慮して最適なネットワークを選択することなどの工夫を行い、建物屋根の抽出精度を向上させた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は、既存の深層学習ネットワークを総合的に分析し、これらのネットワークの問題点を明らかにした。また、屋根の抽出精度を上げるための改良点も提案した。一部の結果は既に論文としてまとめ、国際誌に投稿した（現在修正した原稿の再査読中）。また、5月に香港で開催予定の国際会議でも発表することになっている。

Strategy for Future Research Activity

昨年度の研究結果から、新たな課題が１つ明らかになった。すなわち、深層学習ネットワークの構造をいくら工夫しても、得られるアルゴリズムの汎用性は低いままであった。これは、衛星画像に有用な土地被覆情報に加え、撮影時の光環境や幾何学的位置などの違いによるものと考えられる。したがって、衛星画像を利用する前に標準化する必要があると考える。例えば、衛星画像の正規化、ヒストグラムマーチング、四則演算による各種指標の作成などの方法が考えられる。令和5年度は、これらの試みを行う。