• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

知識・データ融合型枠組の開発およびハイパースペクトル画像の超解像度への応用

研究課題

研究課題/領域番号 20K11867
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関山口大学

研究代表者

韓 先花  山口大学, 大学院創成科学研究科, 准教授 (60469195)

研究分担者 陳 延偉  立命館大学, 情報理工学部, 教授 (60236841)
末竹 規哲  山口大学, 大学院創成科学研究科, 教授 (80334051)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワードハイパースペクトル画像超解像度 / 教師無し深層モデル / データ融合 / ハイパースペクトル画像再構成 / 超解像度 / 深層融合ネットワーク / データ・知識融合型ネットワーク / 知識・データ融合モデル / 深層学習
研究開始時の研究の概要

最先端の計測技術を搭載したHSカメラであっても得ることのできない高解像度HS画像を生成することを目的に、数理モデルと機械学習技術を融合した新たな方法論を確立し、観測された通常のRGB画像と低解像度HS画像から高解像度HS画像を復元する方法を開発する。具体的に、知識駆動型数理モデルとデータ駆動型深層学習を融合した新たな深層学習モデルを構築し、観測された通常のRGB画像と低解像度HS画像の双方のもつ相補的な高分解能な空間情報とスペクトル情報を効率的に利用し、高解像度HS画像を復元する。また、復元された高解像度HS画像を用いたオブジェクトの識別・分割実験を行い、その実問題への応用可能性を検証する。

研究成果の概要

本研究ではRGB画像のもつ高空間分解能とHS画像のもつ詳細なスペクトル情報の両方を効率的に融合することで高解像度HS画像を生成することを目的とし、主に三つの研究方法を提案した。一つ目は、空間構造が大きく異なるHR-RGB・LR-HS画像を効率的に融合できる新たな教師あり深層学習モデルを構築した。二つ目はRGB画像とLR-HS画像のスペクトル・空間方向の劣化数理モデルに駆使した教師無しHR-HS画像復元深層モデルを開発した。三つ目はHR-HS画像を予測する深層生成ネットワークと劣化モデルのパラメターを同時に学習できるブライド深層学習法を確立し、汎用性の高いHR-HS画像復元モデルを提案した。

研究成果の学術的意義や社会的意義

本研究では最先端な計測技術でも得ることができない超人の視覚情報である高解像度なハイパースペクトル画像の生成を目的とする。本プロジェクト提案法の確立により、シーンや素材の多様な情報が復元でき、様々な分野において観測データをより高精度に理解することが可能となる。これを特性解析等の応用へと発展させていくことで関連分野の科学的進展に貢献できる。また、解像度や構造の異なるデータを効率的に融合できる深層学習フレームワークを構築することにより、実世界で得られる多様なマルチモーダルデータの統一解析などにも適用可能となり、ビッグデータ解析に対しても大きな貢献が期待できる。

報告書

(4件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (31件)

すべて 2022 2021 2020 2019 その他

すべて 国際共同研究 (3件) 雑誌論文 (9件) (うち国際共著 3件、 査読あり 9件、 オープンアクセス 5件) 学会発表 (17件) (うち国際学会 17件) 学会・シンポジウム開催 (2件)

  • [国際共同研究] 山東師範大学(中国)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] 山東師範大学(中国)

    • 関連する報告書
      2021 実施状況報告書
  • [国際共同研究] 山東師範大学(中国)

    • 関連する報告書
      2020 実施状況報告書
  • [雑誌論文] Zero-Shot Blind Learning for Single-Image Super-Resolution2022

    • 著者名/発表者名
      Kazuhiro Yamawaki and Xian-Hua Han
    • 雑誌名

      Information

      巻: 14 号: 1 ページ: 33-33

    • DOI

      10.3390/info14010033

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Hyperspectral Image Reconstruction using Multi-Scale Fusion Learning2022

    • 著者名/発表者名
      Xian-Hua Han, YinQiang Zheng and Yen-Wei Chen
    • 雑誌名

      Transactions on Multimedia Computing Communications and Applications

      巻: 18 号: 1 ページ: 1-16

    • DOI

      10.1145/3477396

    • 関連する報告書
      2022 実績報告書 2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Deep Self-Supervised Hyperspectral Image Reconstruction2022

    • 著者名/発表者名
      Zhe Liu and Xian-Hua Han
    • 雑誌名

      ACM Transactions on Multimedia Computing, Communications, and Application

      巻: 18 号: 3s ページ: 1-20

    • DOI

      10.1145/3510373

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Blind Image Super Resolution Using Deep Unsupervised Learning2021

    • 著者名/発表者名
      Kazuhiro Yamawaki, Yongqing Sun, Xian-Hua Han
    • 雑誌名

      Electronics

      巻: 10 号: 21 ページ: 2591-2591

    • DOI

      10.3390/electronics10212591

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Lightweight Multi-Scale Context Aggregation Deraining Network With Artifact-Attenuating Pooling and Activation Functions2021

    • 著者名/発表者名
      Kohei Yamamichi and Xian-Hua Han
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 146948-146958

    • DOI

      10.1109/access.2021.3122450

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Deep Unsupervised Fusion Learning for Hyperspectral Image Super Resolution2021

    • 著者名/発表者名
      Liu Zhe、Zheng Yinqiang、Han Xian-Hua
    • 雑誌名

      Sensors

      巻: 21 号: 7 ページ: 2348-2348

    • DOI

      10.3390/s21072348

    • 関連する報告書
      2021 実施状況報告書 2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Hyperspectral Reconstruction with Redundant Camera Spectral Sensitivity Functions2020

    • 著者名/発表者名
      Xian-Hua Han, Yinqiang Zheng, Jiande Sun, Yen-Wei Chen
    • 雑誌名

      ACM Transactions on Multimedia Computing, Communications, and Applications

      巻: 16 号: 2 ページ: 1-15

    • DOI

      10.1145/3386313

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Image super-resolution based on two-level residual learning CNN2020

    • 著者名/発表者名
      Min Gao, Xian-Hua Han, Jing Li, Hui Ji, Huaxiang Zhang, Jiande Sun
    • 雑誌名

      Multimedia Tools and Applications

      巻: 79 号: 7-8 ページ: 4831-4846

    • DOI

      10.1007/s11042-018-6751-5

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] A Cascade of 2.5D CNN and Bidirectional CLSTM Network for Mitotic Cell Detection in 4D Microscopy Image2019

    • 著者名/発表者名
      Titinunt Kitrungrotsakul, Yutaro Iwamoto, Xian-Hau Han, Satoko Takemoto, Hideo Yokota, Sari Ipponjima, Tomomi Nemoto, Xiong Wei, Yen-Wei Chen
    • 雑誌名

      proc. IEEE/ACM Transactions on Computational Biology and Bioinformatics

      巻: - 号: 2 ページ: 1-9

    • DOI

      10.1109/tcbb.2019.2919015

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] Lightweight Hyperspectral Image Reconstruction Network with Deep Feature Hallucination2022

    • 著者名/発表者名
      Kazuhiro Yamawaki and Xian-Hua Han
    • 学会等名
      ACCV (Workshops) 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Deep RGB-Driven Learning Network for Unsupervised Hyperspectral Image Super-Resolution2022

    • 著者名/発表者名
      Zhe Liu and Xian-Hua Han
    • 学会等名
      ACCV (Workshops) 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Hyperspectral Reconstruction Using Auxiliary Rgb Learning From A Snapshot Image2022

    • 著者名/発表者名
      Kazuhiro Yamawaki, Yorimoto Kohei, Xian-Hua Han
    • 学会等名
      ICIP 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Unsupervised Generative Network for Blind Hyperspectral Image Super-Resolution2022

    • 著者名/発表者名
      Zhe Liu, Xian-Hua Han, Jiande Sun, Yen-Wei Chen
    • 学会等名
      ICIP 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Generalized Deep Internal Learning for Hyperspectral Image Super Resolution2022

    • 著者名/発表者名
      Zhe Liu and Xian-Hua Han
    • 学会等名
      ICIP 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Deep Image and Kernel Prior Learning for Blind Super-Resolution2022

    • 著者名/発表者名
      Kazuhiro Yamawaki and Xian-Hua Han
    • 学会等名
      MMAsia 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Deep Unsupervised Blind Learning for Single Image Super Resolution2022

    • 著者名/発表者名
      Kazuhiro Yamawaki and Xian-Hua Han
    • 学会等名
      MIPR 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] HyperMixNet: Hyperspectral Image Reconstruction with Deep Mixed Network from a Snapshot Measurement2021

    • 著者名/発表者名
      Yorimoto Kohei, Xian-Hua Han
    • 学会等名
      ICCVW 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Deep Blind Un-Supervised Learning Network for Single Image Super Resolution2021

    • 著者名/発表者名
      Kazuhiro Yamawaki, Xian-Hua Han
    • 学会等名
      ICIP 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Multi-Scale Context Interaction Learning network for Medical Image Segmentation2021

    • 著者名/発表者名
      Wenhao Fang, Xian-Hua Han, Xu Qiao, Huiyan Jiang, Yen-Wei Chen
    • 学会等名
      MIPR 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] A Tensor Sparse Representation-Based CBMIR System for Computer-Aided Diagnosis of Focal Liver Lesions and its Pilot Trial2021

    • 著者名/発表者名
      Jian Wang, Xian-Hua Han, Lanfen Lin, Hongjie Hu, Yen-Wei Chen
    • 学会等名
      ICMR 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Angular Margin Constrained Loss for Automatic Liver Fibrosis Staging2021

    • 著者名/発表者名
      Katsuhiro Nakai, Xu Qiao, Xian-Hua Han
    • 学会等名
      MVA 2021
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] MCGKT-Net: Multi-level Context Gating Knowledge Transfer Network for Single Image Deraining2020

    • 著者名/発表者名
      Kohei Yamamichi, Xian-Hua Han:
    • 学会等名
      ACCV2021
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Cell Detection and Segmentation in Microscopy Images with Improved Mask R-CNN2020

    • 著者名/発表者名
      Seiya Fujita, Xian-Hua Han
    • 学会等名
      ACCV Workshops 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Unsupervised Multispectral and Hyperspectral Image Fusion with Deep Spatial and Spectral Priors2020

    • 著者名/発表者名
      Zhe Liu, Yinqiang Zheng, Xian-Hua Han
    • 学会等名
      ACCV Workshops 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Spatial and Channel Attention Modulated Network for Medical Image Segmentation2020

    • 著者名/発表者名
      Wenhao Fang, Xian-Hua Han
    • 学会等名
      ACCV Workshops 2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Deep Residual Attention Network for Hyperspectral Image Reconstruction2020

    • 著者名/発表者名
      Kohei Yorimoto, Xian-Hua Han
    • 学会等名
      ICPR2020
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会・シンポジウム開催] ACCV Workshop2022

    • 関連する報告書
      2022 実績報告書
  • [学会・シンポジウム開催] ACCV2020 Workshop: MLCSA20202020

    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi