2022 Fiscal Year Annual Research Report
Integrated Model-Driven and Data-Driven Framework for Hyper-Spectral Image Super-Resolution
| Project/Area Number |
20K11867
|
|---|
| Research Institution | Yamaguchi University |
|---|
Principal Investigator |
韓 先花 山口大学, 大学院創成科学研究科, 准教授 (60469195)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
陳 延偉 立命館大学, 情報理工学部, 教授 (60236841)
末竹 規哲 山口大学, 大学院創成科学研究科, 教授 (80334051)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ハイパースペクトル画像再構成 |
|---|
| Outline of Annual Research Achievements |
本研究では最先端の計測技術を搭載したハイパースペクトル（HS)イメージングシステムでも計測ができない高解像度HS画像の復元を目的に、画像の計測過程を定式化する数理モデルと深層学習技術を統合した新たな方法論を確立し、超人的な視覚情報を計測するシステムを開発した。本年度の研究実績は主に以下の3点である。
1）学習データを必要としない、汎用性の高い教師無しハイパースペクトル画像再構成モデルを構築し、観測した低画質画像のみで高精度な高解像度HSの復元に成功した。具体的に、目標であるHS画像を予測するエンコーダ・デコーダネットワーク構造と計測過程を近似する劣化モージュールを同時に学習させ、計算した観測データの近似誤差を最小にするように全体ネットワークのパラメターを更新する。提案した手法では任意な条件で観測したデータに対して、ターゲットのHS画像の復元が可能になり、高汎用性の深層モデルの構築ができた。
2）自己教師学習と内部学習を統合した新たな深層モデルを開発した。具体的に、画像の異なるスケールでも重複なパターンを出現するという特性を活用し、観測した低画質画像をさらに劣化させ生成した画像をトレーニングデータの低画質データとし、観測データがラベルを見直して学習サンプルを作成することで内部学習による深層モデルを構築する。また、今まで提案した教師無し学習（自己教師学習）と統合させ、新たなHS画像再構成モデルを構築した。
3）観測しやすいRGB画像からHS画像再構成モデルを開発し、その有効性を検証した。
|
