2023 Fiscal Year Annual Research Report
3D land cover mapping from satellite imagery by weakly supervised learning
| Project/Area Number |
22H03609
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
横矢 直人 東京大学, 大学院新領域創成科学研究科, 准教授 (40710728)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Xia Junshi 国立研究開発法人理化学研究所, 革新知能統合研究センター, 上級研究員 (00830168)
石田 隆 東京大学, 大学院新領域創成科学研究科, 講師 (80888462)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 画像処理 / 土地被覆地図 / 数値標高モデル / 弱教師付き学習 |
|---|
| Outline of Annual Research Achievements |
本年度は，人によるアノテーションなしで入手可能な低コストの教示データを活用し，土地被覆と標高に関する情報を抽出する基盤技術の開発に取り組み，以下３つの項目を実現した．
１）地上撮影画像を用いた単眼標高推定の高精度化：ストリートビュー画像を活用したリモートセンシング画像からの単眼標高推定について，ニューラル3D表現に基づくネットワークモデルを開発した．密度場を介してストリートビュー画像とリモートセンシング画像の情報を融合することで，標高推定の高精度化を実現した．都市スケールのベンチマークデータを構築し，昨年度開発したプロトタイプを大幅に上回る性能を確認した．
２）3次元土地被覆地図作成のための合成データの構築：手続き型モデリングと生成AIモデルに基づくリモートセンシング画像合成技術を開発した．本合成技術により，実データの収集が困難な3次元土地被覆地図作成や土地被覆変化検出のための大規模合成データを構築した．実データと共に学習に使用することで，土地被覆地図作成や建物変化検出における有効性を確認した．
３）1時期画像からの土地被覆変化検出モデルの学習：1時期のリモートセンシング画像内のパッチを交換することで擬似的に変化後の画像を合成することで，土地被覆の変化を検出する機械学習モデルを学習する技術を開発した．2時期画像と変化のラベルを用意する必要がないため，データ構築のコストを大幅に低減することが可能となった．ベンチマークデータを用いた評価により，最先端の性能を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初設定した本年度の研究項目である，地上撮影画像を用いた単眼標高推定の高精度化や，3次元土地被覆地図作成のための合成データの構築について成果が得られたため，順調に進展したといえる．
|
| Strategy for Future Research Activity |
以下２つの課題に取り組む．
１）3次元土地被覆地図作成の高精度化：2023年度に構築した3次元土地被覆地図作成のための合成データを活用し，土地被覆と標高の推定をマルチタスク問題として機械学習で解くことで推定精度の高精度化を目指す．また，マルチモーダル画像超解像と合成データに基づく単眼標高推定を融合することで，高解像度数値標高モデルの再構成精度を高める方法を探求する．
２）弱教師付き土地被覆地図変化認識：地図画像とリモートセンシング画像から土地被覆の変化情報を推定する技術を開発する．低コストで生成可能な２値変化の教示データのみを活用し，複数の土地被覆クラス間の変化を認識する方法を研究する．OpenStreetMapやOpenEarthMapなどのオープンデータソースに基づいて本タスクの評価に必要なデータセットを構築し，開発する技術の性能を評価する．
|
