• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A study of multi-modal adaptive structural deep learning for big data

Research Project

Project/Area Number 19K24365
Research Category

Grant-in-Aid for Research Activity Start-up

Allocation TypeMulti-year Fund
Review Section 1002:Human informatics, applied informatics and related fields
Research InstitutionPrefectural University of Hiroshima

Principal Investigator

Kamada Shin  県立広島大学, 公私立大学の部局等(広島キャンパス), 講師 (30845178)

Project Period (FY) 2019-08-30 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords深層学習 / マルチモーダル / 構造適応型学習 / 動画ビッグデータ / 構造適応型深層学習
Outline of Research at the Start

入力データに対して最適と考えられるネットワーク構造を学習しながら自己組織化的に求める構造適応型深層学習法を開発した。本手法は画像分類や時系列データ予測に関する複数のデータに対し,他の手法よりも高い精度を示した。本研究では,複数のモダリティからの情報を統合的に処理し,それらの関連づけを実現する「マルチモーダル構造適応型深層学習法」について探求する。複数のモダリティを含む処理を統合するため,Teacher-Student(T/S)モデルの概念に基づいたCo-learningモデルを探求し,複数のモダリティ間の知識の融合モデルを研究する。提案手法を動画等のオープンビッグデータに適用し評価する。

Outline of Final Research Achievements

The adaptive structural deep learning was developed, which can self-organize the suitable network structure by the generation algorithm of hidden neurons and layers for given input data. The method achieved higher classification accuracy than the existing deep learning models for several image benchmark test. In this research, the multi-modal adaptive structural deep learning was studies, which represents the multiple features of input data by several models and alignments them. The co-learning with Teacher-Student(TS) model was developed to transform the trained knowledge in the model to another model. The proposed model showed higher performance than the previous models for some big data sets including video data.

Academic Significance and Societal Importance of the Research Achievements

深層学習が登場して以降,画像認識に対する性能は従来に比べて飛躍的に向上した。しかしながら,医療データや人の主観が含まれるようなデータに対しては誤判定のケースが多く,これは,単一のデータのみでは判定が困難であるからである。例えば,医療データには画像の他に血液検査や問診等の結果があり,人間の医師はこれらの複数の情報を統合的に処理し,関連付けを行い,思考した上で最終的な判定をすると考えられる。このため,本研究のように,複数のモダリティを統合的に扱い,関係性を考慮した上で予測を行う学習システムは必要であり,人工知能の研究がさらなる進化を遂げると考えた。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (25 results)

All 2022 2021 2020 2019

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (22 results) (of which Int'l Joint Research: 6 results,  Invited: 1 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] An Ensemble Learning Method of Adaptive Structural Deep Belief Network for AffectNet2022

    • Author(s)
      Takumi Ichimura, Shin Kamada
    • Journal Title

      International Journal of Smart Computing and Artificial Intelligence

      Volume: 6 Issue: 1 Pages: 1

    • DOI

      10.52731/ijscai.v6.i1.640

    • ISSN
      2185-9906, 2185-9914
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Video Prediction Method by using Long Short Term Memory based Adaptive Structural Learning of Deep Belief Network and its Investigation of Input Sequence Length for Data Structure2021

    • Author(s)
      Shin Kamada, Takumi Ichimura
    • Journal Title

      International Journal of Computational Intelligence Studies

      Volume: 出版中

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Presentation] 構造適応型深層学習を用いた道路網認識手法RoadTracerによる土砂検出の試み2021

    • Author(s)
      鎌田真,市村匠
    • Organizer
      インテリジェント・システム・シンポジウム2021 (FAN2021),pp.181-186
    • Related Report
      2021 Annual Research Report
  • [Presentation] Teacher-Student構造適応型深層学習によるアンサンブル学習と認知症MRI画像診断への応用2021

    • Author(s)
      鎌田真,市村匠,原田俊英
    • Organizer
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.30-35
    • Related Report
      2021 Annual Research Report
  • [Presentation] 構造適応型深層学習法によるRoadTracerの道路検出に対する一考察2021

    • Author(s)
      市村匠,鎌田真
    • Organizer
      2021 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.16-23
    • Related Report
      2021 Annual Research Report
  • [Presentation] Teacher-Student構造適応型深層学習によるアンサンブル学習と認知症MRI画像診断への応用2021

    • Author(s)
      市村匠,鎌田真,原田俊英,井上健
    • Organizer
      第33回日本老年医学会 中国地方会, No.23
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] Automatic Extraction of Road Networks from Satellite Images by using Adaptive Structural Deep Belief Network2021

    • Author(s)
      Shin Kamada, Takumi Ichimura
    • Organizer
      Proc. of 10th International Conference on Informatics, Electronics & Vision (ICIEV 2021), paper 37
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 構造適応型深層学習を用いた道路網認識手法RoadTracerへの適用2021

    • Author(s)
      鎌田真,市村匠
    • Organizer
      計測自動制御学会第17回コンピューテーショナル・インテリジェンス研究会,pp.68-72 (2021)
    • Related Report
      2020 Research-status Report
  • [Presentation] A Distillation Learning Model of Adaptive Structural Deep Belief Network for AffectNet: Facial Expression Image Database2020

    • Author(s)
      Takumi Ichimura, Shin Kamada
    • Organizer
      Proc. of 2020 9th International Congress on Advanced Applied Informatics (IIAI-AAI), pp.454-459 (2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] An Embedded System for Image-based Crack Detection by using Fine-Tuning model of Adaptive Structural Learning of Deep Belief Network2020

    • Author(s)
      Shin Kamada and Takumi Ichimura
    • Organizer
      Proc. of IEEE TENCON 2020, pp.1203-1208 (2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] 航空写真を用いた深層学習による道路網認識手法RoadTracerの動作パラメタ実験2020

    • Author(s)
      寒竹夏水,鎌田真,市村匠
    • Organizer
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.24-28 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 組み込みPCを用いたコンクリート構造物のひび割れ検出構造適応型深層学習システムの高速化2020

    • Author(s)
      鎌田真,市村匠
    • Organizer
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.47-50 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 構造適応型深層学習の再学習法を用いたAffectNet顔表情画像の分析2020

    • Author(s)
      鎌田真,市村匠
    • Organizer
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.51-55 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 構造適応型深層学習による親族間の顔画像データベースの学習2020

    • Author(s)
      市村匠,鎌田真
    • Organizer
      2020 IEEE SMC Hiroshima Chapter Young Researchers WorkShop,pp.56-59 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 認知症早期判定のための構造適応型深層学習によるMRI/PET画像の分類2020

    • Author(s)
      鎌田真,市村匠,原田俊英
    • Organizer
      計測自動制御学会システム・情報部門学術講演会2020講演論文集 (SSI2020), pp.119-123 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] コンクリート構造物のひび割れ検出構造適応型深層学習システムの開発~広島県橋梁・砂防ダム・湾岸施設の検査システム~2020

    • Author(s)
      鎌田真,市村匠,岩崎貴志
    • Organizer
      計測自動制御学会システム・情報部門学術講演会2020講演論文集 (SSI2020), pp.150-155 (2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] An Adaptive Structural Learning of Deep Belief Network for Image-based Crack Detection in Concrete Structures Using SDNET20182020

    • Author(s)
      Shin Kamada, Takumi Ichimura, Takashi Iwasaki
    • Organizer
      Proc. of 2020 International Conference on Image Processing and Robotics (ICIPRoB 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 構造適応型DBNによる眼底画像データセットOptosの分類2020

    • Author(s)
      市村匠,鎌田真,石川ますみ,小川諒,河野利治
    • Organizer
      計測自動制御学会第47回知能システムシンポジウム,C-1-1, pp.1-4
    • Related Report
      2019 Research-status Report
  • [Presentation] 組み込みPCによるコンクリートひび割れ検出構造適応型深層学習システムの開発2020

    • Author(s)
      鎌田真,市村匠
    • Organizer
      計測自動制御学会第47回知能システムシンポジウム,C-3-2, pp.1-4
    • Related Report
      2019 Research-status Report
  • [Presentation] A Video Recognition Method by using Adaptive Structural Learning of Long Short Term Memory based Deep Belief Network2019

    • Author(s)
      Shin Kamada, Takumi Ichimura
    • Organizer
      Proc. of 2019 IEEE 11th International Workshop on Computational Intelligence and Applications (IWCIA 2019), pp.21-26
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Re-learning of Child Model for Misclassified data by using KL Divergence in AffectNet: A Database for Facial Expression2019

    • Author(s)
      Takumi Ichimura, Shin Kamada
    • Organizer
      Proc. of 2019 IEEE 11th International Workshop on Computational Intelligence and Applications (IWCIA 2019), pp.15-20
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] SDNET2018: コンクリート構造物画像データセットを用いたひび割れ検出構造適応型深層学習システム2019

    • Author(s)
      鎌田真,市村匠
    • Organizer
      計測自動制御学会システム・情報部門学術講演会2019講演論文集 (SSI2019), pp.315-320
    • Related Report
      2019 Research-status Report
  • [Presentation] 構造適応型DBNの物体検出法におけるパラメタ自動調整と建築設備図面における図面記号への適用2019

    • Author(s)
      市村匠,鎌田真,多羅尾直,山口亮
    • Organizer
      計測自動制御学会第16回コンピューテーショナル・インテリジェンス研究会,pp.7-12
    • Related Report
      2019 Research-status Report
  • [Presentation] KL情報量に基づく学習後の構造適応型DBNにおけるニューロン付加手法の提案と顔表情画像への適用2019

    • Author(s)
      鎌田真,市村匠
    • Organizer
      計測自動制御学会第16回コンピューテーショナル・インテリジェンス研究会,pp.1-6
    • Related Report
      2019 Research-status Report
  • [Patent(Industrial Property Rights)] 検出パラメタ生成装置、検出パラメタ生成方法、検出パラメタ生成プログラム、オブジェクト検出装置、オブジェクト検出方法、およびオブジェクト検出プログラム2019

    • Inventor(s)
      市村匠,鎌田真,多羅尾直,山口亮
    • Industrial Property Rights Holder
      市村匠,鎌田真,多羅尾直,山口亮
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2019-143964
    • Filing Date
      2019
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-09-03   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi