A study of multi-modal adaptive structural deep learning for big data

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K24365
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: Prefectural University of Hiroshima
• Principal Investigator: Kamada Shin 県立広島大学, 公私立大学の部局等(広島キャンパス), 講師 (30845178)
• Project Period (FY): 2019-08-30 – 2022-03-31
• Keywords: 深層学習 / マルチモーダル / 構造適応型学習 / 動画ビッグデータ

Outline of Final Research Achievements

The adaptive structural deep learning was developed, which can self-organize the suitable network structure by the generation algorithm of hidden neurons and layers for given input data. The method achieved higher classification accuracy than the existing deep learning models for several image benchmark test. In this research, the multi-modal adaptive structural deep learning was studies, which represents the multiple features of input data by several models and alignments them. The co-learning with Teacher-Student(TS) model was developed to transform the trained knowledge in the model to another model. The proposed model showed higher performance than the previous models for some big data sets including video data.

Free Research Field

計算知能

Academic Significance and Societal Importance of the Research Achievements

深層学習が登場して以降，画像認識に対する性能は従来に比べて飛躍的に向上した。しかしながら，医療データや人の主観が含まれるようなデータに対しては誤判定のケースが多く，これは，単一のデータのみでは判定が困難であるからである。例えば，医療データには画像の他に血液検査や問診等の結果があり，人間の医師はこれらの複数の情報を統合的に処理し，関連付けを行い，思考した上で最終的な判定をすると考えられる。このため，本研究のように，複数のモダリティを統合的に扱い，関係性を考慮した上で予測を行う学習システムは必要であり，人工知能の研究がさらなる進化を遂げると考えた。