Integrated Model-Driven and Data-Driven Framework for Hyper-Spectral Image Super-Resolution
| Project/Area Number |
20K11867
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Yamaguchi University |
|---|
Principal Investigator |
Han Xian-HUa 山口大学, 大学院創成科学研究科, 准教授 (60469195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
末竹 規哲 山口大学, 大学院創成科学研究科, 教授 (80334051)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ハイパースペクトル画像超解像度 / 教師無し深層モデル / データ融合 / ハイパースペクトル画像再構成 / 超解像度 / 深層融合ネットワーク / データ・知識融合型ネットワーク / 知識・データ融合モデル / 深層学習 |
|---|
| Outline of Research at the Start |
最先端の計測技術を搭載したHSカメラであっても得ることのできない高解像度HS画像を生成することを目的に、数理モデルと機械学習技術を融合した新たな方法論を確立し、観測された通常のRGB画像と低解像度HS画像から高解像度HS画像を復元する方法を開発する。具体的に、知識駆動型数理モデルとデータ駆動型深層学習を融合した新たな深層学習モデルを構築し、観測された通常のRGB画像と低解像度HS画像の双方のもつ相補的な高分解能な空間情報とスペクトル情報を効率的に利用し、高解像度HS画像を復元する。また、復元された高解像度HS画像を用いたオブジェクトの識別・分割実験を行い、その実問題への応用可能性を検証する。
|
| Outline of Final Research Achievements |
This research project aims at reconstructing the high-resolution hyperspectral (HR-HS) images by merging the observed high-resolution RGB (HR-RGB) image and the low-resolution hyperspectral (LR-HS) image. The project has focused on exploiting effective and high-generalized deep learning models to recover the HR-HS image, and mainly has three contributions: 1) A multi-scale and multi-level fusion network for effectively and hierarchically aggregating the extracted features from the LR-HS and HR-RGB images has been proposed; 2) a novel unsupervised HS image super-resolution framework has been developed via leveraging the model-driven knowledge of the mathematical relation between the observations and the target, and the powerful modeling capability of the deep neural networks; 3) a high-generalized blind unsupervised model has been proposed to simultaneously learn the underlying HR-HS image and the parameters of the degradation procedures in both spatial and spectral domains.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究では最先端な計測技術でも得ることができない超人の視覚情報である高解像度なハイパースペクトル画像の生成を目的とする。本プロジェクト提案法の確立により、シーンや素材の多様な情報が復元でき、様々な分野において観測データをより高精度に理解することが可能となる。これを特性解析等の応用へと発展させていくことで関連分野の科学的進展に貢献できる。また、解像度や構造の異なるデータを効率的に融合できる深層学習フレームワークを構築することにより、実世界で得られる多様なマルチモーダルデータの統一解析などにも適用可能となり、ビッグデータ解析に対しても大きな貢献が期待できる。
|
Report
(4 results)
Research Products
(31 results)
