2018 Fiscal Year Annual Research Report
先端的生成モデルのための学習アルゴリズム基盤の構築
| Project/Area Number |
17H04693
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院新領域創成科学研究科, 講師 (90610155)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 敵対的学習 / 深層学習 / ベイズニューラルネット / 逐次学習 |
|---|
| Outline of Annual Research Achievements |
今年度は，深層学習における敵対的学習に関する研究およびベイズニューラルネットのノンパラメトリックな逐次学習について研究を行い．機械学習の難関会議であるNeurIPSおよび人工知能の難関会議であるAAAIで発表を行った．
深層ニューラルネットは高い識別能力を有するが，敵対的ノイズに弱いという特徴があることが知られている．これに対して敵対的学習を用いる方法が提案されているが，計算量が非常に大きい．これまで，敵対的ノイズに頑健なアルゴリズムは数多く提案されているものの理論的な背景はなく，そのためアルゴリズムの提案後すぐにそのアルゴリズムでは対応できない敵対的ノイズが発見されている．我々の研究では，深層ニューラルネットワークを関数と見たときのリプシッツ定数と敵対的ノイズの関係を明らかにし，敵対的ノイズのサイズが与えられたもとでノイズに頑健なリプシッツ定数を持つニューラルネットワークの学習を可能にするアルゴリズムを提案することでこの問題を解決した．
ベイズニューラルネットワークは，ニューラルネットワークのパラメータの事後分布を用いて予測分布を構築することで予測の不確実性を考慮することができる．しかし，この事後分布は解析的に求めることができず近似的に求める必要がある．変分推論に代表される近似手法では事後分布としてパラメトリックなモデルを仮定するため単純な分布に限定されてしまう．またモンテカルロ法に代表される近似手法ではサンプリング回数が非常に多くなるため計算量が大きく収束性に関する決定的な議論が難しい．我々の研究では，事後分布をノンパラメトリックに構成するパーティクルを決定的かつ逐次的に構成することでこれらの問題を解決した．逐次的に構成することで必要な精度と時間のトレードオフを簡単に取ることができる．また，収束に関する理論保証も与えられている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
近年の先端的生成モデルではニューラルネットワークに基づくモデリングが基本的に行われており，ニューラルネットワークの学習における問題解決は先端的生成モデルの研究に重要な役割を果たす．これまで，逆誤差伝搬法で重要な確率的勾配の分散低減、敵対的ノイズの問題，ベイズニューラルネットワークの効率的な学習に関して，世界トップレベルの研究成果が出ている．また，敵対的ネットワークに関する密度比による理論解析も順調に進んでおり今後は希少データへの応用を行う予定である．
|
| Strategy for Future Research Activity |
先端生成モデルの希少データ解析への応用を視野に入れた生成モデルの研究を進める予定である．
近年，フロー型と呼ばれる生成モデルが注目を集めているため，場合によっては敵対的ネットワークではなくフロー型生成モデルによる希少データ解析へ研究をシフトする可能性がある．
|
