| 研究課題/領域番号 |
19K21527
|
|---|
| 補助金の研究課題番号 |
18H06458 (2018)
|
|---|
| 研究種目 |
研究活動スタート支援
|
| 配分区分 | 基金 (2019)
補助金 (2018) |
|---|
| 審査区分 |
1001:情報科学、情報工学およびその関連分野
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
鈴木 雅大 東京大学, 大学院工学系研究科(工学部), 特任研究員 (30823885)
|
|---|
| 研究期間 (年度) |
2018-08-24 – 2020-03-31
|
| 研究課題ステータス |
完了 (2019年度)
|
| 配分額 *注記 |
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2019年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2018年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
|
|---|
| キーワード | 深層学習 / 共有表現学習 / マルチモーダル学習 / 深層生成モデル |
|---|
| 研究開始時の研究の概要 |
深層学習の飛躍的発展によって、画像や音声、文書といった異なる種類の情報(モダリティ)を統合して学習するマルチモーダル学習の研究が数多く行われるようになっている。マルチモーダル学習は、異なるモダリティを統合した共有表現の学習が重要となる。しかし異なるモダリティ間で1対1の決定論的な対応関係を結べないような場合(例えば1つのタグに対応する画像は無数にある)、従来の決定論的な学習方法では適切な共有表現を獲得できない。本研究では、申請者らが開発した深層生成モデルによる手法に基づき、各モダリティの不確実性を考慮することで、複数のモダリティ情報を統合した共有表現を適切に学習する手法を確立する。
|
| 研究成果の概要 |
本研究課題では，画像や文書，音声などの複数の異なる種類の情報（マルチモーダル情報）を統合する方法について取り組む．従来の研究では，モダリティごとの不確実性の違いを考慮しておらず，決定論的に統合していた．本研究では，深層生成モデルと呼ばれる枠組みに基づき，異なるモダリティを確率的に統合することを提案し，複数のマルチモーダル学習の問題設定において，このアプローチが有効であることを示した．また，マルチモーダル情報の関係を含んだ複雑な深層生成モデルを簡潔に実装するため，新たにライブラリを開発した．
これらの成果は国内論文誌や国際会議などで発表した．
|
| 研究成果の学術的意義や社会的意義 |
本研究で提案する異なるモダリティの統合の枠組みは，今回扱ったデータや問題設定によらず，様々な領域に応用できると考えている．それは，この統合方法では深層生成モデルを用いてるため，モダリティの不確実性の違いのみに着目しており，モダリティの入力空間の次元数には依存しないからである．また，今回開発した深層生成モデルライブラリは，マルチモーダル学習のモデルに限らず，様々な深層生成モデルの実装に利用することができる．
|
