2018 Fiscal Year Annual Research Report
モダリティごとの不確実性を考慮した共有表現学習の研究
| Project/Area Number |
18H06458
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
鈴木 雅大 東京大学, 大学院工学系研究科(工学部), 特任研究員 (30823885)
|
|---|
| Project Period (FY) |
2018-08-24 – 2020-03-31
|
| Keywords | 深層学習 / 共有表現学習 / マルチモーダル学習 / 深層生成モデル |
|---|
| Outline of Annual Research Achievements |
本研究では，画像や音声，文書といった異なる種類の情報（モダリティ）を適切に統合するような表現を獲得する共有表現学習（マルチモーダル学習）に取り組む．特に，それらの情報の異種性（情報量や次元が互いに異なること）に着目し，深層生成モデルを利用した適切な学習方法を確立することが本研究の目標である．
2018年度は，まず，提案するアプローチを共有表現学習やマルチモーダル学習の諸問題に適用することを進めた．その1つが，半教師ありマルチモーダル学習への応用である．これは，ラベルが付与されたマルチモーダルデータが少数しかない状況で，ラベルなしデータを利用して精度向上を目指す枠組みである．さらにこの枠組みでは，テスト時に単一のモダリティしか入力として与えられない場合も考慮する必要がある．この問題設定に対処するために，深層生成モデルによる共有表現学習手法を導入した新しい手法を提案した．実験より，ラベルありデータが少なく，単一モダリティだけの場合でも，適切に共有表現が獲得されることを確認し，ラベルの識別精度も既存手法よりも高い結果となった．この研究成果は2018年度人工知能学会全国大会で発表した他，情報処理学会論文誌に採録された．また，共有表現学習手法をゼロショット学習に応用した研究についても行い，現在国際会議に投稿中である．その他，深層生成モデルを利用した異なるモダリティ統合に関する共著の研究が，情報処理学会論文誌や国際会議ICLRのワークショップに採録された．
また，本研究のサブ研究として，これらを簡単に開発するための深層生成モデルライブラリの開発を進めた．このライブラリは，深層ニューラルネットワークが確率モデルに隠蔽されているという特徴があり，異なるモダリティを扱う複雑な深層生成モデルを実装する上では適しているといえる．この成果は2019年度人工知能学会全国大会で発表する予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り，マルチモーダル学習の諸問題に応用した研究を進めることができ，またそれらについて採録という形で成果をあげることができた．また，本研究の元になっている2017年度に情報処理学会論文誌に採録された論文が情報処理学会論文賞を受賞し，本研究の方向性の妥当性が示された形となった．
また当初の計画にはなかったものの，深層生成モデルライブラリの開発を行い，それを用いることで共有表現学習についての研究成果を出すことができた．
これらの状況から，研究全体はおおむね順調に進んでいると考えている．
|
| Strategy for Future Research Activity |
2019年度は，マルチモーダル学習の諸問題に応用した研究を引き続き行い，研究成果はトップ国際学会に積極的に投稿する予定である．
また「様々なモダリティ情報での検証」について研究を行う予定である．これまでの研究で扱ってきた情報は，画像やタグといった，系列情報のない比較的扱いやすい情報であった．一方で，近年のマルチモーダル学習の研究では，動画や音声といった時系列情報も扱われるようになっている．そこで，本研究でもこれらの情報から共有表現を適切に学習する方法を研究する．その中で，従来提案していた手法に捉われない共有表現の獲得方法についても検討したい．
その他，本研究を進めるにあたってサブ研究として開発していたライブラリが大きな注目を集めたため，これの開発も並行して続ける予定である．上記の理論研究と並行して進めることで．結果的に本研究全体を加速させることができると考えている．こちらの研究についても，成果を国内外の学会に投稿予定である．
|
