新深層学習アプローチを用いた様々なサイズの地理オブジェクトの最適なセグメント化

2022 Fiscal Year Annual Research Report

• Project/Area Number: 22F21301
• Allocation Type: Single-year Grants
• Research Institution: University of Tsukuba
• Principal Investigator: 松下 文経 筑波大学, 生命環境系, 准教授 (80361319)
• Co-Investigator(Kenkyū-buntansha): YANG JIAN 筑波大学, 生命環境科学研究科(系), 外国人特別研究員
• Project Period (FY): 2022-04-22 – 2024-03-31
• Keywords: 屋根の抽出 / 深層学習 / U-Net / 目標分布の不均衡 / 転移学習

Outline of Annual Research Achievements

深層学習技術を用いた屋根の抽出に関する研究は、コンピュータービジョン分野とリモートセンシング画像処理分野において盛んに行われながらも挑戦的な研究分野である。ただし、ほとんどの研究はさまざまな深層学習モデルの開発と改良に焦点を当てており、ネットワーク構造の基本要素と画像構成のバランス（すなわち、屋根と背景の比率）の調査に焦点を当てた研究は少ないのが現状である。そこで本研究は、ネットワーク構造の基本要素（Backboneやネットワークの深さなど）およびトレーニング画像の構成バランスを、世界中で広く利用されているU-Netを用いて調査した。まず、既存の深層学習ネットワーク（VGG13、VGG19、ResNet18、DarkNet19、ResNet50、DarkNet53）に対して総合的な分析を行った。その結果、事前に大量のトレーニングデータで学習したBackboneに基づく再学習は、ネットワーク構造の改善や学習層（ネットワークの深さ）を増やすよりも、屋根の分類精度が高くなる。また、トレーニング画像における屋根の占有率（imbalance問題）が抽出精度に大きな影響を与えることも明らかにした。さらに、先行研究で提案されたネットワークの残差構造が屋根の抽出に負の影響を及ぼす可能性があることも示した。以上を踏まえ、残差構造をU-Netに取り込まないこと、事前に学習したU-NetのBackboneを再学習させること、画像構成のバランスを考慮して最適なネットワークを選択することなどの工夫を行い、建物屋根の抽出精度を向上させた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は、既存の深層学習ネットワークを総合的に分析し、これらのネットワークの問題点を明らかにした。また、屋根の抽出精度を上げるための改良点も提案した。一部の結果は既に論文としてまとめ、国際誌に投稿した（現在修正した原稿の再査読中）。また、5月に香港で開催予定の国際会議でも発表することになっている。

Strategy for Future Research Activity

昨年度の研究結果から、新たな課題が１つ明らかになった。すなわち、深層学習ネットワークの構造をいくら工夫しても、得られるアルゴリズムの汎用性は低いままであった。これは、衛星画像に有用な土地被覆情報に加え、撮影時の光環境や幾何学的位置などの違いによるものと考えられる。したがって、衛星画像を利用する前に標準化する必要があると考える。例えば、衛星画像の正規化、ヒストグラムマーチング、四則演算による各種指標の作成などの方法が考えられる。令和5年度は、これらの試みを行う。