• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

事前知識を導入した深層学習モデルの学習

研究課題

研究課題/領域番号 21K12049
研究機関広島大学

研究代表者

栗田 多喜夫  広島大学, 先進理工系科学研究科(工), 教授 (10356941)

研究分担者 日高 章理  東京電機大学, 理工学部, 准教授 (70553519)
研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード事前知識 / 機械学習 / 深層学習 / 不変特徴抽出
研究実績の概要

訓練用のデータに基づいて学習したディープラーニングのモデルは,画像認識を始め多くの応用で高い性能を発揮し,現在の人工知能のブームを作り出している.本研究課題では,事前知識を積極的に学習に取り込む方法について研究する.具体的には,事前知識の取り込み方法の違いにより,(1)識別に無関係な変動に対して不変な特徴の抽出による学習の誘導,(2)事前知識を利用して訓練データを生成する手法の2つのサブ課題について研究する.
今年度は,これまで研究代表者等が行ってきた事前知識を学習の目的関数に正則化項を加えることで取り込む手法について論文発表した.具体的には,眼底画像からの血管領域の抽出において,血管領域は繋がっているという知識を積極的に取り込むために,オイラーの多面体定理を利用して検出された血管領域の連結成分の個数を推定し,それを最小化するような正則化を加えた学習法や隣接画素との差が推定画像と教師画像とで等しくなるような正則化を加えた学習法を提案した.また,識別に無関係な変動に対して不変な特徴が抽出できるようにするため,Gradient Reversal Layer (GRL) を導入して,タスクに無関係な情報を陽に抑制する方法,および,Siamese Networkを利用して,陽に特徴ベクトルの変動を抑制する方法を提案した.特に,GRLを利用する手法については,心電を用いた心臓疾患の診断に応用し,その結果を国際会議で発表した.その他,Self-Supervised Learningで利用されている手法と識別器を組み合わせて,変動の影響を受けにくい識別器が学習できることを確かめた.具体的には,各サンプルに異なる変動を加え,それらを入力したネットワークと特徴ベクトルがなるべく同じになるように学習する手法を識別器の学習と組み合わせた.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については,GRLを利用する手法の有効性を心電からの心臓疾患の診断に応用し,有効性を確認した.また,Self-Supervised Learningで利用されている手法を用いて,タスクに無関係な変動に影響されにくい識別器の学習が可能であることを確認した.これは,当初の計画では予定されていなかったものである.

今後の研究の推進方策

今年度開発したSelf-Supervised Learningで利用されている手法を教師あり学習にも利用するというアイデアを,画像の領域分割にも拡張する.具体的には,画像のボケ等の変動に頑健な領域分割手法を開発する.また,事前知識を利用して訓練データを生成する手法についても検討する.

次年度使用額が生じた理由

COVID-19の影響で,国際会議の多くがリモートでの開催となり,国際会議に出席するための旅費および参加費が削減された.10Gbのネットワーク用のHUBやネットワークカード,新しいGPUの購入などの計算機実験の環境を整備するために利用する予定である.

  • 研究成果

    (14件)

すべて 2022 2021

すべて 雑誌論文 (7件) (うち国際共著 6件、 査読あり 7件、 オープンアクセス 7件) 学会発表 (7件) (うち国際学会 7件)

  • [雑誌論文] Improvement for Single Image Super-resolution and Image Segmentation by Graph Laplacian Regularizer Based on Differences of Neighboring Pixels2022

    • 著者名/発表者名
      Lukman HAKIM, Huipeng ZHEN, and Takio KURITA
    • 雑誌名

      International Journal of Intelligent Engineering and Systems

      巻: 15 ページ: 95-105

    • DOI

      10.22266/ijies2022.0228.10

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Consistency Regularization on Clean Samples for Learning with Noisy Labels2022

    • 著者名/発表者名
      NOMURA Yuichiro、KURITA Takio
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E105.D ページ: 387~395

    • DOI

      10.1587/transinf.2021EDP7127

    • 査読あり / オープンアクセス
  • [雑誌論文] Deep Metric Learning for Multi-Label and Multi-Object Image Retrieval2021

    • 著者名/発表者名
      MOJOO Jonathan、KURITA Takio
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E104.D ページ: 873~880

    • DOI

      10.1587/transinf.2020EDP7226

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Extensive framework based on novel convolutional and variational autoencoder based on maximization of mutual information for anomaly detection2021

    • 著者名/発表者名
      Yu Qien、Kavitha Muthu Subash、Kurita Takio
    • 雑誌名

      Neural Computing and Applications

      巻: 33 ページ: 13785~13807

    • DOI

      10.1007/s00521-021-06017-3

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Autoencoder framework based on orthogonal projection constraints improves anomalies detection2021

    • 著者名/発表者名
      Yu Qien、Kavitha Muthusubash、Kurita Takio
    • 雑誌名

      Neurocomputing

      巻: 450 ページ: 372~388

    • DOI

      10.1016/j.neucom.2021.04.033

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Regularizer based on Euler characteristic for retinal blood vessel segmentation2021

    • 著者名/発表者名
      Hakim Lukman、Kavitha Muthu Subash、Yudistira Novanto、Kurita Takio
    • 雑誌名

      Pattern Recognition Letters

      巻: 149 ページ: 83~90

    • DOI

      10.1016/j.patrec.2021.05.023

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Leveraging network using controlled weight learning approach for thyroid cancer lymph node detection2021

    • 著者名/発表者名
      Kavitha Muthu Subash、Yudistira Novanto、Ahn Byeong-Cheol、Kurita Takio
    • 雑誌名

      Biocybernetics and Biomedical Engineering

      巻: 41 ページ: 1589~1600

    • DOI

      10.1016/j.bbe.2021.10.003

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] PatchNet: Patching Trained Model by Additional Neural Network2022

    • 著者名/発表者名
      Motoshi Abe and Takio Kurita
    • 学会等名
      The 28th International Workshop on Frontiers of Computer Vision (IW-FCV)
    • 国際学会
  • [学会発表] Optimization of Re-ranking based on k-reciprocal for Vehicle Re-identification2022

    • 著者名/発表者名
      Simin Liu, Yuta Konishi, Junichi Miyao and Takio Kurita
    • 学会等名
      The 28th International Workshop on Frontiers of Computer Vision (IW-FCV)
    • 国際学会
  • [学会発表] Decomposition of Invariant and Variant Features by using Convolutional Autoencoder2022

    • 著者名/発表者名
      Hidenori Ide, Hiromu Fujishige, Junichi Miyao and Takio Kurita
    • 学会等名
      The 28th International Workshop on Frontiers of Computer Vision (IW-FCV)
    • 国際学会
  • [学会発表] q-Softplus Function: Extensions of Activation Function and Loss Function by using q-Space2021

    • 著者名/発表者名
      Motoshi Abe and Takio Kurita
    • 学会等名
      the 6th Asian Conference on Pattern Recognition (ACPR2021)
    • 国際学会
  • [学会発表] Parametric q-Gaussian distributed stochastic neighbor embedding with Convolutional Neural Network2021

    • 著者名/発表者名
      Motoshi Abe, Junichi Miyao and Takio Kurita
    • 学会等名
      2021 International Joint Conference on Neural Networks (IJCNN)
    • 国際学会
  • [学会発表] Invariant Feature Extraction for CNN Classifier by using Gradient Reversal Layer2021

    • 著者名/発表者名
      Michiaki Ueda, Keijiro Kanda, Junichi Miyao, Shogo Miyamoto, Yukiko Nakano and Takio Kurita
    • 学会等名
      2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC)
    • 国際学会
  • [学会発表] Single-Image Super-Resolution Reconstruction based on the Differences of Neighboring Pixels2021

    • 著者名/発表者名
      Huipeng Zheng, Lukman Hakim, Takio Kurita and Junichi Miyao
    • 学会等名
      Neural Information Processing. ICONIP 2021. Communications in Computer and Information Science
    • 国際学会

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi