• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

構造適応型深層学習によるTeacher Student型逐次的再学習モデルの提案

研究課題

研究課題/領域番号 19K12142
研究機関県立広島大学

研究代表者

市村 匠  県立広島大学, 地域創生学部, 教授 (10295842)

研究期間 (年度) 2019-04-01 – 2023-03-31
キーワード構造適応型深層学習 / RBM / DBN / Teacher Student型モデル / AffectNet / ADNI
研究実績の概要

我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と,事前学習したAdaptive RBMを層とし,自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって,高い分類能力を示すことが分かっている。しかしながら,教師あり学習における訓練データには,入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって,一概にラベル付け自体が誤りであるとは言い切れない。しかしながら,学習済モデルに与えた場合,誤判定が生じる原因となっている。
このような場合,2つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ,Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では,学習済モデルと新モデルの形成状態を調査するために,学習済みのネットワークをTeacherモデル,再学習のための新しいネットワークをStudentモデルとし,新たなStudentモデルの学習を行う。2つのモデルのKL情報量を測り,Studentモデルの分類能力とKL情報量の変化の関係を明確にし,Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し,学習後のモデルの計算時間の短縮を実現した。
CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet,軽度認知症MRIデータベースADNIに適用し,その有効性を検証したところ,分類性能の向上を示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

モデルのアルゴリズムや簡単な計算実験を行ってきたが,大容量のデータベースを取り扱う場合,GPGPU計算機が必要であるが,コロナ禍の影響で大学構内への入構制限があることや本学のネットワーク制限(外部からアクセス不可)があり,実験と評価を繰り返し行うことが困難であった。また,GPUの購入が計画通りに行えなかったため,予定していたデータベースの実験が終了していない。また,成果をまとめ,適切な国際会議や学会誌等への投稿が終了していない。
これらの理由によって,一部は行っているものの,研究成果の報告や発展的な応用の可能性を示すところまで至っておらず,「やや遅れている」とした。

今後の研究の推進方策

航空写真や衛星画像から道路網を検出する方法としてRoadTracerが知られているが,この手法の深層学習法に,Adaptive DBNを適用したところ,従来手法より認識性能の向上と計算速度の短縮が見られた。しかしながら,一部のデータに対して認識できない箇所を発見し,改良のため,T/Sモデルを適用したところ,さらに精度が向上した。
この手法を平成30年7月豪雨(西日本豪雨災害)の衛星画像に適用し,寸断された道路網を抽出し,新たな移動経路を探索する方法を開発した。これらの精度を評価するための追試実験を行うとともに,ベンチマークデータセットであるCIFAR-100等へ適用した結果及び上記の手法を国際学会誌等へ投稿する準備を行っている。
また,他大学医学部との共同研究において,MRI画像等の医療画像を用いた研究も行っているが,これらのデータにも本手法を適用する予定である。

次年度使用額が生じた理由

研究内容によって複数のモデルを構築するため,1つのモデルに対し1つのGPU計算機を構築する必要がある。GPU計算機の構築については,既存の計算機に新しいGPU機器を増設し,また大容量データの転送に必要なネットワーク高速化を図るため,必要な機器を購入する。
また,短時間で手法の評価を行うため,医療データや衛星画像を用いた計算実験を行い,実験作業補助のため学生アルバイトを雇用する必要がある。
これらの結果をまとめた論文を投稿するため,論文構成,剽窃防止ソフト(iThenticate)使用等の費用を支出する。

  • 研究成果

    (9件)

すべて 2022 2021

すべて 雑誌論文 (2件) (うち査読あり 2件、 オープンアクセス 1件) 学会発表 (7件) (うち国際学会 3件)

  • [雑誌論文] An Ensemble Learning Method of Adaptive Structural Deep Belief Network for AffectNet2022

    • 著者名/発表者名
      Ichimura Takumi、Kamada Shin
    • 雑誌名

      International Journal of Smart Computing and Artificial Intelligence

      巻: 6 ページ: 1~17

    • DOI

      10.52731/ijscai.v6.i1.640

    • 査読あり / オープンアクセス
  • [雑誌論文] Adaptive Structural Learning of Deep Belief Network and its Application to Real Time Crack Detection of Concrete Structure using Drone2022

    • 著者名/発表者名
      Shin Kamada and Takumi Ichimura
    • 雑誌名

      Handbook on Artificial Intelligence-empowered Applied Software Engineering: VOL.2: Smart Software Applications in Cyber-Physical Systems", Springer

      巻: - ページ: -

    • 査読あり
  • [学会発表] Automatic Extraction of Road Networks from Satellite Images by using Adaptive Structural Deep Belief Network2021

    • 著者名/発表者名
      Shin Kamada and Takumi Ichimura
    • 学会等名
      Proc. of 2021 Joint 10th International Conference on Informatics, Electronics & Vision (ICIEV) and 2021 5th International Conference on Imaging, Vision & Pattern Recognition (ICIVPR)
    • 国際学会
  • [学会発表] Image-Based Early Detection of Alzheimer’s Disease by Using Adaptive Structural Deep Learning2021

    • 著者名/発表者名
      Kamada Shin、Ichimura Takumi、Harada Toshihide
    • 学会等名
      Proc. of 13th International Conference on Intelligent Decision Technologies (KES IDT 2021)
    • 国際学会
  • [学会発表] Adaptive Structural Deep Learning to Recognize Kinship Using Families in Wild Multimedia2021

    • 著者名/発表者名
      Ichimura Takumi、Kamada Shin
    • 学会等名
      Proc. of 13th International Conference on Intelligent Decision Technologies (KES IDT 2021)
    • 国際学会
  • [学会発表] 構造適応型深層学習を用いた道路網認識手法 RoadTracer による土砂検出の試み2021

    • 著者名/発表者名
      鎌田真, 市村匠
    • 学会等名
      第20回インテリジェントシステムシンポジウム2021(FAN2021)
  • [学会発表] Teacher-Studentモデルに基づく構造適応型深層学習法による認知症MRI画像判定システム2021

    • 著者名/発表者名
      市村匠, 鎌田真, 原田俊英, 井上健
    • 学会等名
      第33回日本老年医学会 中国地方会
  • [学会発表] Teacher-Student構造適応型深層学習によるアンサンブル学習と認知症MRI画像診断への応用2021

    • 著者名/発表者名
      鎌田真, 市村匠, 原田俊英
    • 学会等名
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
  • [学会発表] 構造適応型深層学習法によるRoadTracerの道路検出に対する一考察2021

    • 著者名/発表者名
      市村匠, 鎌田真
    • 学会等名
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi