2021 Fiscal Year Research-status Report
複数モダリティの知識表現を用いたマルチモーダル構造適応型深層学習の研究
| Project/Area Number |
21K17809
|
|---|
| Research Institution | Prefectural University of Hiroshima |
|---|
Principal Investigator |
鎌田 真 県立広島大学, 公私立大学の部局等(広島キャンパス), 講師 (30845178)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / マルチモーダル / 構造適応型学習 / 知識獲得 / ビッグデータ |
|---|
| Outline of Annual Research Achievements |
入力データに対して適応的に隠れニューロン数や層の数を自動で生成／消去する構造適応型深層学習法を開発した。本手法は画像や時系列データ等のベンチマークにおいて，他の深層学習手法(VGG16, ResNet等)より高い分類能力を示した。本手法は既存の手法よりも高い性能を示したものの，数は多くないが，分類困難な事例が見つかっている。これらの多くは，医療データ等に見られる曖昧性が多く含まれる事例や，単一のデータだけ判定が難しいものであった。
深層学習では，複数の異なる入力を同時に学習するマルチモーダル深層学習は提案されているが，各モダリティ間の特徴や知識表現に基づき，最終判定のために適切に合成・融合する手法は少ない。このため，本研究では，動画像，音声，自然言語等の複数のモダリティを入力とし，個別のモデルとして並列的に処理し，モダリティ間の関係性を考慮した上で合成し，最終的な出力判定を行うマルチモーダル構造適応型深層学習を探求する。特に，複数のモデル間の確率分布の違いをKL情報量により測定し，モダリティを適切に合成・融合するための指標を開発する。類似性に応じてモダリティ間の共通成分を知識として獲得し，データ表現能力が不足する場合は新規ニューロンを自動追加する。入力に欠損があった場合でも別のモダリティがもつ知識に基づいて補間し，その他の情報と合成することで人間のような高次の情報処理を実現する。動画等のビッグデータに適用し評価する。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2021年度では，マルチモーダル深層学習として，親モデルと複数の子モデルを用いたTeacher-Student構造適応型深層学習法を開発した。入力データに含まれる多様な特徴を親モデルと複数の子モデルで学習し，また子モデルに蓄積されている特徴や知識表現を親に転移させることで，分類性能の向上を実現した。航空写真から道路網地図を自動検出するRoadTracerに適用し，既存の手法よりも高い性能を示した。
一方，新型コロナウイルスの感染予防対策のため，年度当初，大学によって研究活動の禁止期間が設けられ，予定通り研究活動を実施できなかった。また，これに伴う学会発表の中止や物品の在庫不足等により，2021年度に予定していた自然言語処理の開発等，一部の実験は実施できなかった。これらの研究については，来年度に延期する。これにより，「遅れている」とした。
|
| Strategy for Future Research Activity |
2022年度では，2021年度に実施できなかった実験を行い，提案手法の精度改善を目指す。具体的には，多様なマルチモーダル深層学習の開発のため，構造適応型深層学習における音声・自然言語処理モデルを新たに開発する。さらに，学習後のマルチモーダル深層学習から，各モダリティ間の特徴や共通成分を知識として獲得する。学習後のNNモデルはブラックボックスと言われているが，RBM及びDBNはニューロンが2値のパタンで表現されているため，入力から出力までの信号の流れを解析する。これらについて，オープンビッグデータを用いて検証する。
|
| Causes of Carryover |
2021年度では，新型コロナウイルスの影響に伴う半導体の供給不足により，GPU等の価格高騰，在庫不足が続き，当初予定していた機器を購入できなかった。
2022年度では，上記の影響が多少収まったため，2021年度に予定していたGPUワークステーション，ディスク等を購入予定である。また，実験の補助として学生アルバイトを雇うことで研究のスピードアップを図る。
|
