2021 Fiscal Year Research-status Report
Integrated Model-Driven and Data-Driven Framework for Hyper-Spectral Image Super-Resolution
| Project/Area Number |
20K11867
|
|---|
| Research Institution | Yamaguchi University |
|---|
Principal Investigator |
韓 先花 山口大学, 大学院創成科学研究科, 准教授 (60469195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
末竹 規哲 山口大学, 大学院創成科学研究科, 教授 (80334051)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ハイパースペクトル画像再構成 / 超解像度 / 深層融合ネットワーク / データ・知識融合型ネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究では最先端の計測技術を搭載したハイパースペクトル(HS)カメラであっても計測が難しい高解像度なHS画像を生成することを目的に、画像のイメージング過程を定式化する数理モデルと深層学習技術を融合した新たな方法論を確立し、高解像度HS画像を復元する方法を開発する。本年度では、研究実績は主に以下の3点である.
1）空間構造が異なる二つのモダリティデータを効率的に融合する新たな深層ネットワーク構造を提案し、伝統的な数理モデルに基づく再構成法と統合することで高精度な高解像度HS画像の復元を確認した。
2）高精細な空間構造と細かいスペクトル分布を同時に復元できる軽量なHyperMixNetフレームワークを提案し、圧縮されたSnapshot画像から高精度なスペクトル情報の復元だけではなく、深層モデルのサイズと計算コストの削減も実現した。
3)膨大なラベル（高解像度HR画像）付きトレーニングサンプルが必要なし、観測の低解像度HS画像と高解像度RGB画像のみを用いた教師なし深層学習ネットワーク枠組を開発し、高精度なHS画像の生成を実現した。また、計測データの劣化過程を自動的に学習できる汎用性が高いBlind教師なし深層モデルを構築している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では最先端の計測技術を搭載したハイパースペクトル(HS)カメラであっても計測が難しい高解像度なHS画像の高精度な復元を目指す。本年度では、観測された二つのモダリティデータを効率的に融合できる新たな深層ネットワーク構造の提案および画像のイメージング過程を定式化する数理モデルと統合を行い、高精度な高解像度HS画像の復元を検証した。また、高精細な空間構造と細かいスペクトル分布を同時に復元できる軽量なHyperMixNetフレームワークを提案し、復元精度の向上だけではなく計算コストの削減も実現した。さらに、観測した低解像度HS画像と高解像度RGB画像のみを用いた教師なし深層学習ネットワーク枠組を提案と拡張し、汎用性が高いBlind教師なし深層モデルを構築した。
|
| Strategy for Future Research Activity |
本プロジェクトでは、今まで教師あり深層ネットワーク、教師なし深層モデルの開発および画像のイメージング過程を定式化する数理モデル法と統合を行い、高精度な高解像度HS画像の復元を検証した。最終年度では、より高精度且つ汎用性がある深層モデルの構築および復元HS画像の実応用への検証を行う。具体的な研究推進方策は以下の3点。
1）外部と内部学習を統合した深層モデルの開発：教師あり深層学習は事前に用意された大量な外部トレーニングサンプルからHS画像の復元モデルを学習し、外部データ間（高解像度HS画像と低解像度HS画像、高解像度RGB画像）の関係（共通Prior)を構築する。また、今まで我々が提案した教師なし学習ネットワークでは観測の低画質画像のみで学習を行い、ターゲット画像の潜在な構造（特化Prior：Specific Prior)をモデリングする。最終年度では、今まで提案した教師ありとなし学習を統合し、外部のトレーニングデータとターゲットシーンの潜在構造をモデリングできる共通と特化Priorを同時に学習することで、より高精度且つ汎用性が高い深層モデルを構築する。
2）解釈型深層モデルの提案：今までのHS画像復元深層モデルでは、精度を向上するためより深く複雑に設計され、学習した特徴は冗長になるだけではなく、明確な意味として解釈できないという問題点がある。本年度では、深層モデルの解釈可能性を高めるために、明確な物理的意味を持つモデル駆動型深層モデルを提案する。具体的に、外部データから学習した深層モデル（共通Prior）を数理モデルの事前知識として活用し、HS画像の復元タスクの最適化問題を定式化することでディープモジュールと数理モデルを最適化する。
3) 復元精度はオブジェクト分割・識別で検証する。提案手法により生成された高解像度HS画像の精度の検証には、定量評価だけでなく、実応用を念頭においたオブジェクトの分割・識別実験も行う。
|
| Causes of Carryover |
（次年度使用額が生じた理由）
コロナの影響ですべての学会はオンラインで実施され、旅費や学会参加費を使用しなかった。また物品の購入や人件費などは他の予算で実行したため、未使用額が生じた。
（使用計画）
データベース収集に関わる人件費、大規模データを保存する大容量ストレージ及び研究成果を発信するため論文の掲載料や国際学会参加などが必要である、そのための費用として使用する予定である。
|
