2021 Fiscal Year Annual Research Report
動画ビッグデータの構造適応型マルチモーダル深層学習の研究
| Project/Area Number |
19K24365
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
鎌田 真 県立広島大学, 公私立大学の部局等(広島キャンパス), 講師 (30845178)
|
|---|
| Project Period (FY) |
2019-08-30 – 2022-03-31
|
| Keywords | 深層学習 / マルチモーダル / 構造適応型学習 / 動画ビッグデータ |
|---|
| Outline of Annual Research Achievements |
本研究では，深層学習において，入力データに対して最適と考えられるネットワーク構造を学習しながら自己組織化的に求める構造適応型学習法を開発している。開発した構造適応型深層学習法は未知なデータに対して高い分類精度は示しているものの，100%の精度までには至っていない。誤分類した原因について調査したところ，モデルの過学習（過度に学習しすぎる状態）が原因ではなく，医療データや動画，感情のように，複数のモダリティから構成されるマルチモーダルなデータで，与えられたデータのみでは判別が困難な特徴が含まれていたことが原因であった。例えば，医師であれば，画像の他，患者の血液検査や問診の結果，過去の経年変化，また医師自身の経験的な知識等，複数の情報を統合的に処理し，関連付けを行い，総合的に判断した上で最終判定を行っていると考えられる。つまり，深層学習においても，人間が行うように，複数のモダリティ(５感など）を統合的に扱い，関係性を考慮した上で予測を行うマルチモーダル深層学習法が必要である。
マルチモーダル深層学習には，複数のモダリティの表現方法のRepresentation，変換方法のTranslation，関連付けのAlignment，融合方法のFusion，知識の転移のCo-learningが必要とされる。本研究では，このようなマルチモーダル深層学習として，親モデルと複数の子モデルを用いたTeacher-Student構造適応型深層学習法を開発した。入力データに含まれる多様な特徴を親モデルと複数の子モデルで学習し，また子モデルに蓄積されている特徴や知識表現を親に転移させることで，分類性能の向上を実現した。医療データ，感情，動画等のオープンビッグデータに適用し評価したところ，既存の手法よりも高い性能を示した。
|
