2017 Fiscal Year Annual Research Report
先端的生成モデルのための学習アルゴリズム基盤の構築
| Project/Area Number |
17H04693
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 一誠 東京大学, 大学院新領域創成科学研究科, 講師 (90610155)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 生成モデル / 離散構造 / 深層信念ネットワーク / 再パラメータ化 / 局所期待勾配 |
|---|
| Outline of Annual Research Achievements |
離散潜在構造を持つ深層生成モデルの効率的な学習手法の開発および理論解析を行った．
連続潜在変数では，解析的に解くことが困難な積分計算を，再パラメータ化を用いた潜在変数のサンプリング近似により誤差逆伝搬法での勾配を計算できる．しかし，離散潜在変数の場合，近似した目的関数は微分不可能となるため同じ方法が使えない．本研究では，「局所期待勾配」と再パラメータ化を組み合わせることでこの問題を解決した．具体的には，以下の２つの重要な問題を解決した．
【問題１】 局所的な期待値計算には近似分布に独立性を仮定する必要があるが，２層以上の隠れ層をもつモデルでは，上下の層との依存関係が否応なしに発生してしまうため，適用できない．
【問題２】 連続潜在変数とは異なり，離散変数の再パラメータ化サンプリング近似は，その離散性から勾配の分散が格段に大きくなってしまい学習が進まない．
【解決策】上記の問題は「局所期待値勾配を計算する際の微分と積分の順序交換をいかに正確に近似できるか」という問題に帰着できる．これは再パラメータ化サンプリング近似を微分と積分の順序交換手法の１つとした新たな見方を与えることで改善する道筋が見えてくる．この新たな視点により共通乱数法を用いることで，局所期待勾配の分散が最小になるという理論保証を与えることもできる．これらの解決策により得られた理論保証付き学習アルゴリズムを深層信念ネットワークと呼ばれる深層生成モデルの教師無し学習として画像データに適用したところ従来手法よりも効率的に高い汎化能力を得ることを実験的に示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画のうちの１つの課題に関して問題を解決した。また、得られた成果は機械学習の最難関国際会議のICMLへ採択されているため、順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
研究計画にある通り敵対的学習に関する理論解析を引き続き行い、医療分野での応用を視野に入れて研究を行う予定である。
|
