2020 Fiscal Year Research-status Report
Integrated Model-Driven and Data-Driven Framework for Hyper-Spectral Image Super-Resolution
| Project/Area Number |
20K11867
|
|---|
| Research Institution | Yamaguchi University |
|---|
Principal Investigator |
韓 先花 山口大学, 大学院創成科学研究科, 准教授 (60469195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
末竹 規哲 山口大学, 大学院創成科学研究科, 教授 (80334051)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ハイパースペクトル画像再構成 / 超解像度 / 深層融合ネットワーク / データ・知識融合型ネットワーク |
|---|
| Outline of Annual Research Achievements |
本プロジェクトでは最先端の計測技術を搭載したハイパースペクトル(HS)カメラであっても得ることのできない高解像度HS画像を生成することを目的に、数理モデルと機械学習技術を融合した新たな方法論を確立し、観測された通常のRGB画像と低解像度HS画像から高解像度HS画像を復元する方法を開発する。初年度の研究実績は主に以下の3点である
1）観測された二つのモダリティデータを効率的に融合するため、新たなマルチスケール融合深層ネットワーク構造を開発し、高精度な高解像度HS画像の復元方法を提案した。
2）新たな教師なし生成ネットワークを提案し、高解像度HS画像に隠れている高精細な空間構造とスペクトル特性の自動的な学習法を提案した（Hyperspectral Image Prior).
3) 観測な低解像度HS画像と高解像度RGB画像の劣化過程に基づく、新たな教師なし学習融合ネットワーク枠組を提案した（Unsupervised Hyperspectral Image Fusion) 。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度では、観測された二つのモダリティデータを効率的に融合できる新たなマルチスケール深層ネットワーク構造を開発し、高精度な高解像度HS画像の復元を検証した。また、深層畳込みネットワークの強いモデリング能力を活用し、観測の低画質データのみで教師なし学習ネットワークを用いることで高解像度HS画像の復元可能性を確認した。
|
| Strategy for Future Research Activity |
本年度では、新たな教師ありマルチスケール融合深層ネットワーク構造及び教師なし学習融合ネットワーク枠組を開発し、高精度な高解像度HS画像の復元を検証した。今後の研究の推進方策では以下の3点である。
1）外部のトレーニングデータと観測の低画質ターゲット画像の両方を活用できる深層枠組の開発：教師あり学習ネットワークでは事前に用意された大量な外部トレーニングサンプルからHS画像の復元モデルを学習し、外部データ間（高解像度HS画像と低解像度HS画像、高解像度RGB画像）の関係（共通Prior)を構築する。我々は今まで開発した教師なし学習HS画像復元ネットワークでは観測された低画質画像のみでネットワークの未知パラメターを学習し、ターゲットの高画質HS画像（特化Prior：Specific Prior)を予測する。来年度では、収集した外部トレーニングサンプルとターゲットシーンの観測低画質画像の両方を活用し、共通と特化Priorを用いてネットワークの学習に正則することでより高精度なHS画像復元法を構築する。
2）任意な劣化モデルに適応できる新たな教師なし生成ネットワークの提案：今までのHS画像復元ネットワークでは、ターゲットの高解像度HS画像と観測の低画質画像間の劣化モデルが既知と仮定し、HS画像復元モデルを構築する。しかし、観測された実画像の撮影機器の情報が未知であることが多く、仮定した劣化モデルに一致しない可能性がある。このようにある劣化モデルで学習したHS画像復元ネットワークは実画像の復元において、精度が大きく低下する。本研究では観測画像のみでターゲットHS画像と劣化モデルを同時に学習する新たな実用教師なし生成ネットワークを開発する。
3) データ・知識融合型ネットワーク構造の開発：本研究ではデータ間の物理関係とシーンの特性を取り入れ、より強力で、解釈可能な深層ネットワークを構築する。
|
| Causes of Carryover |
（次年度使用額が生じた理由）
コロナの影響ですべての学会はオンラインで実施され、旅費や学会参加費を使用しなかった。また物品の購入や人件費などは他の予算で実行したため、未使用額を生じた。
（使用計画）
データベース収集に関わる人件費、大規模データを保存する大容量ストレージ及び研究成果を発信するため論文の掲載料や国際学会参加費などが必要である、そのための費用として使用する予定である。
|
| Remarks |
国際共著あり
|
