• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

構造適応型深層学習によるTeacher Student型逐次的再学習モデルの提案

研究課題

研究課題/領域番号 19K12142
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61040:ソフトコンピューティング関連
研究機関県立広島大学

研究代表者

市村 匠  県立広島大学, 地域創生学部, 教授 (10295842)

研究期間 (年度) 2019-04-01 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード構造適応型深層学習 / 構造適応型RBM / 構造適応型DBN / Teacher-Student構造適応型深層学習 / AffectNet / 軽度認知症画像判定 / Teacher-Studentモデル / RoadTracer / 避難経路探索 / RBM / DBN / Teacher Student型モデル / ADNI / 深層学習 / 構造適応型学習 / T/S型逐次的再学習モデル / KL情報量 / 顔感情モデル / 敵対的事例 / 制限付ボルツマンマシン / Deep Belief Network / teacher-studentモデル
研究開始時の研究の概要

入力データに対して適応的に隠れニューロン数や層の数を自動で生成/消去する構造適応型深層学習法を開発した。開発した手法は,画像や時系列データなどのベンチマークテストでは学習用ではほぼ100%,テスト用では他の深層学習手法より高い分類能力を示した。学習後に未知データが出現した場合,再学習することで,自己組織化的に学習モデルを自ら構造やパラメタ修正するアルゴリズムを研究する。学習済みモデルをTeacherモデル,再学習のためのモデルをStudentモデルとし,KL情報量によって,分類,時系列等の様々なビッグデータセットに対応できる深層学習モデルを構築する。

研究成果の概要

学習データに最適なRBMのニューロン数と層の数を自動で定めるAdaptive RBM-DBNと呼ばれる構造適応型学習法は,高い分類精度を示している。医療画像や感情など,曖昧性や矛盾を含む場合には精度の向上が期待できない。この課題に対し2つ以上のモデルを用いたアンサンブル学習として,Teacher-Student(T/S)構造適応型深層学習モデルを提案した。顔感情データ,軽度認知症データに適用したところ,分類性能が向上した。さらに,西日本豪雨災害時の航空画像や衛星画像を用いて,土砂災害による被災した道路を回避しながら避難経路の探索をリアルタイムで発見する方法を提案し,その有効性を示した。

研究成果の学術的意義や社会的意義

IoTや医療等,データが収集・蓄積されたデータをそのまま画像解析やデータ分析に使用されている。学習時には出現していなかった特徴をもつデータが混在していることがあり,これらを外れ値やノイズとして処理するのではなく,一つの新たな特徴として処理する必要がある。Teacher-Student構造適応型深層学習モデルは実在するデータを無視するのではなく,再学習した知識を蒸留する形で,適切な構造をもつ深層学習法の一つとして提案した。

報告書

(6件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (40件)

すべて 2024 2023 2022 2021 2020 2019

すべて 雑誌論文 (7件) (うち査読あり 7件、 オープンアクセス 2件) 学会発表 (31件) (うち国際学会 8件) 図書 (2件)

  • [雑誌論文] 3D Lung Tumor Segmentation System using Adaptive Structural Deep Belief Network2024

    • 著者名/発表者名
      Kamada Shin、Ichimura Takumi
    • 雑誌名

      Intelligent Systems Reference Library: Advances in Intelligent Disease Diagnosis and Treatment

      巻: to appear in 2024

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] A Teacher-Student based Adaptive Structural Deep learning Model and Its Estimating Uncertainty of Image Data2023

    • 著者名/発表者名
      Ichimura Takumi、Kamada Shin、Harada Toshihide、Inoue Ken
    • 雑誌名

      Handbook of Statistics 49: Artificial Intelligence

      巻: 49 ページ: 129-149

    • DOI

      10.1016/bs.host.2023.04.001

    • ISBN
      9780443137631
    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Automatic Extraction of Road Networks by Using Teacher-Student Adaptive Structural Deep Belief Network and Its Application to Landslide Disaster2023

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura
    • 雑誌名

      IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing

      巻: 16 ページ: 6310-6324

    • DOI

      10.1109/jstars.2023.3293593

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Segmentation Method of Lung Tumor by using Adaptive Structural Deep Belief Network2023

    • 著者名/発表者名
      Kamada Shin、Ichimura Takumi
    • 雑誌名

      Proc. of The SICE Annual Conference 2023

      巻: 1 ページ: 1529-1534

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] An Ensemble Learning Method of Adaptive Structural Deep Belief Network for AffectNet2022

    • 著者名/発表者名
      Takumi Ichimura, Shin Kamada
    • 雑誌名

      International Journal of Smart Computing and Artificial Intelligence

      巻: 6 号: 1 ページ: 1

    • DOI

      10.52731/ijscai.v6.i1.640

    • ISSN
      2185-9906, 2185-9914
    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Adaptive Structural Learning of Deep Belief Network and its Application to Real Time Crack Detection of Concrete Structure using Drone2022

    • 著者名/発表者名
      Shin Kamada and Takumi Ichimura
    • 雑誌名

      Handbook on Artificial Intelligence-empowered Applied Software Engineering: VOL.2: Smart Software Applications in Cyber-Physical Systems", Springer

      巻: -

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] A Video Prediction Method by using Long Short Term Memory based Adaptive Structural Learning of Deep Belief Network and its Investigation of Input Sequence Length for Data Structure2021

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura
    • 雑誌名

      International Journal of Computational Intelligence Studies

      巻: -

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [学会発表] マルチモーダル構造適応型深層学習による RAVDESS データセットの 感情分類2024

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      第51回知能システムシンポジウム
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 構造適応型深層学習を用いた肺腫瘍セグメンテーション手法の開発2022

    • 著者名/発表者名
      鎌田真, 市村匠,河原大輔
    • 学会等名
      計測自動制御学会第21回コンピューテーショナル・インテリジェンス研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Teacher-Student型構造適応型深層学習モデルにおける複数GPU計算機の自動計算2022

    • 著者名/発表者名
      市村匠,鎌田真
    • 学会等名
      2022 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Automatic Extraction of Road Networks from Satellite Images by using Adaptive Structural Deep Belief Network2021

    • 著者名/発表者名
      Shin Kamada and Takumi Ichimura
    • 学会等名
      Proc. of 2021 Joint 10th International Conference on Informatics, Electronics & Vision (ICIEV) and 2021 5th International Conference on Imaging, Vision & Pattern Recognition (ICIVPR)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Image-Based Early Detection of Alzheimer’s Disease by Using Adaptive Structural Deep Learning2021

    • 著者名/発表者名
      Kamada Shin、Ichimura Takumi、Harada Toshihide
    • 学会等名
      Proc. of 13th International Conference on Intelligent Decision Technologies (KES IDT 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Adaptive Structural Deep Learning to Recognize Kinship Using Families in Wild Multimedia2021

    • 著者名/発表者名
      Ichimura Takumi、Kamada Shin
    • 学会等名
      Proc. of 13th International Conference on Intelligent Decision Technologies (KES IDT 2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] 構造適応型深層学習を用いた道路網認識手法 RoadTracer による土砂検出の試み2021

    • 著者名/発表者名
      鎌田真, 市村匠
    • 学会等名
      第20回インテリジェントシステムシンポジウム2021(FAN2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Teacher-Studentモデルに基づく構造適応型深層学習法による認知症MRI画像判定システム2021

    • 著者名/発表者名
      市村匠, 鎌田真, 原田俊英, 井上健
    • 学会等名
      第33回日本老年医学会 中国地方会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Teacher-Student構造適応型深層学習によるアンサンブル学習と認知症MRI画像診断への応用2021

    • 著者名/発表者名
      鎌田真, 市村匠, 原田俊英
    • 学会等名
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 構造適応型深層学習法によるRoadTracerの道路検出に対する一考察2021

    • 著者名/発表者名
      市村匠, 鎌田真
    • 学会等名
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 構造適応型深層学習を用いた道路網認識手法RoadTracerへの適用2021

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      計測自動制御学会第17回コンピューテーショナル・インテリジェンス研究会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] A Distillation Learning Model of Adaptive Structural Deep Belief Network for AffectNet: Facial Expression Image Database2020

    • 著者名/発表者名
      Takumi Ichimura, Shin Kamada
    • 学会等名
      Proc. of the 9th International Congress on Advanced Applied Informatics(IIAI AAI 2020)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] An Embedded System for Image-based Crack Detection by using Fine-Tuning model of Adaptive Structural Learning of Deep Belief Network"2020

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura
    • 学会等名
      Proc. of 2020 IEEE Region 10 Conference (TENCON2020)
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 認知症早期判定のための構造適応型深層学習によるMRI/PET画像の分類2020

    • 著者名/発表者名
      鎌田真,市村匠,原田俊英
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会 2020 (SSI2020)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] コンクリート構造物のひび割れ検出構造適応型深層学習システムの開発~広島県橋梁・砂防ダム・湾岸施設の検査システム~2020

    • 著者名/発表者名
      鎌田真,市村匠,岩崎貴志
    • 学会等名
      計測自動制御学会 システム・情報部門 学術講演会 2020 (SSI2020)
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 構造適応型深層学習の再学習法を用いたAffectNet顔表情画像の分析2020

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 構造適応型深層学習による親族間の顔画像データベースの学習2020

    • 著者名/発表者名
      市村匠,鎌田真
    • 学会等名
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 組み込みPCを用いたコンクリート構造物のひび割れ検出構造適応型深層学習システムの高速化2020

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 航空写真を用いた深層学習による道路網認識手法RoadTracerの動作パラメタ実験2020

    • 著者名/発表者名
      寒竹夏水,鎌田真,市村匠
    • 学会等名
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] An Adaptive Structural Learning of Deep Belief Network for Image-based Crack Detection in Concrete Structures Using SDNET20182020

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura, Takashi Iwasaki
    • 学会等名
      Proc. of 2020 International Conference on Image Processing and Robotics (ICIPRoB 2020)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 構造適応型DBNによる眼底画像データセットOptosの分類2020

    • 著者名/発表者名
      市村匠,鎌田真,石川ますみ,小川諒,河野利治
    • 学会等名
      計測自動制御学会第47回知能システムシンポジウム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 組み込みPCによるコンクリートひび割れ検出構造適応型深層学習システムの開発2020

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      計測自動制御学会第47回知能システムシンポジウム
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] An Object Detection by using Adaptive Structural Learning of Deep Belief Network2019

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura
    • 学会等名
      Proc. of The International Joint Conference on Neural Networks (IJCNN 2019)
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Re-learning of Child Model for Misclassified data by using KL Divergence in AffectNet: A Database for Facial Expressio2019

    • 著者名/発表者名
      Takumi Ichimura, Shin Kamada
    • 学会等名
      Proc. of 2019 IEEE 11th International Workshop on Computational Intelligence and Applications (IWCIA 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] A Video Recognition Method by using Adaptive Structural Learning of Long Short Term Memory based Deep Belief Network2019

    • 著者名/発表者名
      Shin Kamada, Takumi Ichimura
    • 学会等名
      Proc. of 2019 IEEE 11th International Workshop on Computational Intelligence and Applications (IWCIA 2019)
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] AffectNet: 顔表情データベースの構造適応型 DBN による感情モデルの KL 情報量を用いた精度向上2019

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      計測自動制御学会第15回コンピューテーショナル・インテリジェンス研究会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 建築設備図面への画像認識を取り入れた人工知能の適用に関する研究(第1報)人工知能の深層学習手法について2019

    • 著者名/発表者名
      多羅尾直,小川潔,水野暁,市村匠,鎌田真
    • 学会等名
      令和元年度空気調和・衛生工学会大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 建築設備図面への画像認識を取り入れた人工知能の適用に関する研究 ( 第3報 ) 構造適応型深層学習法による建築設備図面における図面記号の自動認識システムの構築2019

    • 著者名/発表者名
      市村匠,鎌田真,多羅尾直,小川潔
    • 学会等名
      令和元年度空気調和・衛生工学会大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] SDNET2018: コンクリート構造物画像データセットを用いたひび割れ検出構造適応型深層学習システム2019

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      計測自動制御学会システム・情報部門学術講演会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] 構造適応型DBNの物体検出法におけるパラメタ自動調整と建築設備図面における図面記号への適用2019

    • 著者名/発表者名
      市村匠,鎌田真,多羅尾直,山口亮
    • 学会等名
      計測自動制御学会第16回コンピューテーショナル・インテリジェンス研究会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] KL情報量に基づく学習後の構造適応型DBNにおけるニューロン付加手法の提案と顔表情画像への適用2019

    • 著者名/発表者名
      鎌田真,市村匠
    • 学会等名
      計測自動制御学会第16回コンピューテーショナル・インテリジェンス研究会
    • 関連する報告書
      2019 実施状況報告書
  • [図書] "A Teacher-Student based Adaptive Structural Deep learning Model and Its Estimating Uncertainty of Image Data", In "Handbook of Statistics Volume 49: Artificial Intelligence"2023

    • 著者名/発表者名
      Takumi Ichimura, Shin Kamada, Toshihide Harada and Ken Inoue
    • 総ページ数
      20
    • 出版者
      Elsevier
    • ISBN
      9780443137631
    • 関連する報告書
      2022 実施状況報告書
  • [図書] Adaptive Structural Learning of Deep Belief Network and its Application to Real Time Crack Detection of Concrete Structure using Drone", Virvou, Tsihrintzis, Bourbakis, Jain eds. "Handbook on Artificial Intelligence-empowered Applied Software Engineering: VOL.2: Smart Software Applications in Cyber-Physical Systems"2022

    • 著者名/発表者名
      Shin Kamada and Takumi Ichimura
    • 総ページ数
      20
    • 出版者
      Springer
    • ISBN
      9783031076503
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi