• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実績報告書

先端的生成モデルのための学習アルゴリズム基盤の構築

研究課題

研究課題/領域番号 17H04693
研究機関東京大学

研究代表者

佐藤 一誠  東京大学, 大学院新領域創成科学研究科, 講師 (90610155)

研究期間 (年度) 2017-04-01 – 2021-03-31
キーワード生成モデル / 離散構造 / 深層信念ネットワーク / 再パラメータ化 / 局所期待勾配
研究実績の概要

離散潜在構造を持つ深層生成モデルの効率的な学習手法の開発および理論解析を行った.
連続潜在変数では,解析的に解くことが困難な積分計算を,再パラメータ化を用いた潜在変数のサンプリング近似により誤差逆伝搬法での勾配を計算できる.しかし,離散潜在変数の場合,近似した目的関数は微分不可能となるため同じ方法が使えない.本研究では,「局所期待勾配」と再パラメータ化を組み合わせることでこの問題を解決した.具体的には,以下の2つの重要な問題を解決した.
【問題1】 局所的な期待値計算には近似分布に独立性を仮定する必要があるが,2層以上の隠れ層をもつモデルでは,上下の層との依存関係が否応なしに発生してしまうため,適用できない.
【問題2】 連続潜在変数とは異なり,離散変数の再パラメータ化サンプリング近似は,その離散性から勾配の分散が格段に大きくなってしまい学習が進まない.
【解決策】上記の問題は「局所期待値勾配を計算する際の微分と積分の順序交換をいかに正確に近似できるか」という問題に帰着できる.これは再パラメータ化サンプリング近似を微分と積分の順序交換手法の1つとした新たな見方を与えることで改善する道筋が見えてくる.この新たな視点により共通乱数法を用いることで,局所期待勾配の分散が最小になるという理論保証を与えることもできる.これらの解決策により得られた理論保証付き学習アルゴリズムを深層信念ネットワークと呼ばれる深層生成モデルの教師無し学習として画像データに適用したところ従来手法よりも効率的に高い汎化能力を得ることを実験的に示した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究計画のうちの1つの課題に関して問題を解決した。また、得られた成果は機械学習の最難関国際会議のICMLへ採択されているため、順調に進展していると考えられる。

今後の研究の推進方策

研究計画にある通り敵対的学習に関する理論解析を引き続き行い、医療分野での応用を視野に入れて研究を行う予定である。

  • 研究成果

    (2件)

すべて 2017

すべて 雑誌論文 (1件) (うち査読あり 1件、 オープンアクセス 1件) 学会発表 (1件) (うち国際学会 1件)

  • [雑誌論文] Evaluating the Variance of Likelihood-Ratio Gradient Estimators2017

    • 著者名/発表者名
      Seiya Tokui and Issei Sato
    • 雑誌名

      Proceedings of the 34th International Conference on Machine Learning

      巻: 70 ページ: 3414-3423

    • 査読あり / オープンアクセス
  • [学会発表] Evaluating the Variance of Likelihood-Ratio Gradient Estimators2017

    • 著者名/発表者名
      Seiya Tokui
    • 学会等名
      International Conference on Machine Learning
    • 国際学会

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi