2020 Fiscal Year Research-status Report
動画ビッグデータの構造適応型マルチモーダル深層学習の研究
| Project/Area Number |
19K24365
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
鎌田 真 県立広島大学, 公私立大学の部局等(広島キャンパス), 講師 (30845178)
|
|---|
| Project Period (FY) |
2019-08-30 – 2022-03-31
|
| Keywords | 深層学習 / マルチモーダル / 構造適応型学習 / 動画ビッグデータ |
|---|
| Outline of Annual Research Achievements |
本研究では，深層学習において，入力データに対して最適と考えられるネットワーク構造を学習しながら自己組織化的に求める構造適応型学習法を開発している。開発した構造適応型深層学習法は未知なデータに対して高い分類精度は示しているものの，100%の精度までには至っていない。誤分類した原因について調査したところ，モデルの過学習（過度に学習しすぎる状態）が原因ではなく，医療データや動画，感情のように，複数のモダリティから構成されるマルチモーダルなデータで，与えられたデータのみでは判別が困難な特徴が含まれていたことが原因であった。例えば，医師であれば，画像の他，患者の血液検査や問診の結果，過去の経年変化，また医師自身の経験的な知識等，複数の情報を統合的に処理し，関連付けを行い，総合的に判断した上で最終判定を行っていると考えられる。つまり，深層学習においても，人間が行うように，複数のモダリティ(５感など）を統合的に扱い，関係性を考慮した上で予測を行うマルチモーダル深層学習法が必要である。
マルチモーダル深層学習には，複数のモダリティの表現方法のRepresentation，変換方法のTranslation，関連付けのAlignment，融合方法のFusion，知識の転移のCo-learningが必要とされる。本研究では，構造適応型深層学習において，ネットワークの内部の入出力パタンに関する知識を木構造のIF-THENルールとして抽出する手法や，画像と数値が混在したデータを一度に取り扱い，分類精度を下げることなく高速に学習する構造適応型学習法を既に提案している。本研究では，これらの手法を改良し，また複数のモダリティを含む処理を統合するため，Teacher-Student(T/S)モデルの概念に基づいたCo-learningモデルを探求する。複数のモダリティ間の知識の融合モデルを研究し，医療データ，感情，動画等のオープンビッグデータに適用し評価する。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2020年度では，2019年度に開発した手法のさらなる改良を行い，感情画像，医療データ等の複数のマルチモーダルデータを用いて性能を評価した。2019年度では，T/Sモデルを用いた構造適応型深層学習の再学習法を開発し，ここでは，複数の子モデルに蓄積されている特徴や知識表現に関する研究を行ったが，2020年度では，これらの複数のモダリティ間に含まれている知識の転移・統合法について研究し，精度の改良を行った。複数モダリティの統合については，親モデルと子モデルにおいて，不足していると考えられるニューロンを生成することで，モデルの統合を行った。感情画像や軽度認知症(MCI)判定のためのオープンデータであるADNIを用いて，手法の評価を行った。
一方，新型コロナウイルスの感染予防対策のため，年度当初，大学によって研究活動の禁止期間が設けられ，研究計画の見直しを行った。また，これに伴う学会発表の延期や物品の在庫不足等により，今年度では一部の実験を実施できないと判断し，来年度に延期した。これにより，「遅れている」とした。
|
| Strategy for Future Research Activity |
新型コロナウイルスによる今後の状況が不透明であるため，在宅勤務でシミュレーション実験等を実施できるよう環境を準備し，研究活動を行う。
2021年度では，2020年度に実施できなかった実験を行い，提案手法の精度改善を目指す。具体的には，2020年度において，オープンデータであるADNIを用いて，MRI画像とPET画像から軽度認知症(MCI)を判定するモデル構築を行ったが，両者のモデル間の違いを調査し，学習モデルにおいて，最終的な出力判定に至るまでに，どのような特徴の融合・合成が行われているのか研究を行う。
|
| Causes of Carryover |
新型コロナウイルスの影響に伴い，研究を実施できなかった期間があったほか，GPU等の一部の物品を年度内に購入できなかった。このため，2020年度に執行できなかった経費を2021年度で執行する予定である。
|
