• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明

研究課題

研究課題/領域番号 15K00331
研究機関東京工業大学

研究代表者

渡邊 澄夫  東京工業大学, 情報理工学院, 教授 (80273118)

研究期間 (年度) 2015-04-01 – 2020-03-31
キーワード汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数
研究実績の概要

ベイズ法を用いた統計的学習において、汎化誤差と自由エネルギーの漸近挙動は、事後分布が正規分布で近似できない場合においても、真の分布、統計モデル、事前分布から定まる実対数閾値により与えられることが知られているが、実対数閾値を知るためには、真の分布と統計モデルにより定義されるカルバック/ライブラ情報量によって定義されるゼータ関数の最大極を見出す必要がある。2019年度の研究においては、トピックモデル、混合多項分布、およびSwish関数を活性化関数として用いた階層的神経回路網における実対数閾値を求めることにより、それらの統計モデルの漸近挙動を解明した。また、真の分布と統計モデルのカルバック・ライブラ情報量を最小化するパラメータが複数あり、それぞれのパラメータに対応する確率分布が同じでないときの自由エネルギーと汎化誤差の漸近挙動を導出した。それぞれの研究の詳細は次の通りである。(1)トピックモデルと確率行列分解は等しい実対数閾値を持つこと、および、確率行列の分解の実対数閾値についてはすでにその上界が知られていることから、トピックモデルの実対数閾値についても上界を得ることができた。(2)混合多項分布についてカルバック・ライブラ情報量の特異点解消を与えることにより実対数閾値の厳密値を得ることができた。(3)Swish関数を活性化関数に持つ階層型神経回路網について活性化関数のテーラー展開を用いて実対数閾値の上界を得ることができた。(4)カルバック・ライブラ情報量を最小化するパラメータが複数存在して対応する確率分布が一致しないときに、自由エネルギーと汎化誤差はそうでない場合とは異なる漸近挙動を持つことを示すことができた。以上の研究は統計的学習における情報量規準の挙動の解析を行う場合の数学的な基礎研究として役立つことが期待されている。

  • 研究成果

    (6件)

すべて 2020 2019 その他

すべて 雑誌論文 (4件) (うち査読あり 1件) 学会発表 (1件) (うち招待講演 1件) 備考 (1件)

  • [雑誌論文] Asymptotic Bayesian Generalization Error in Latent Dirichlet Allocation and Stochastic Matrix Factorization.2020

    • 著者名/発表者名
      Naoki Hayashi, Sumio Watanabe.
    • 雑誌名

      SN Computer Science

      巻: 1 ページ: 1-22

    • DOI

      10.1007/s42979-020-0071-3

    • 査読あり
  • [雑誌論文] 混合多項分布のベイズ汎化誤差の漸近挙動2020

    • 著者名/発表者名
      渡邉匠、渡辺澄夫
    • 雑誌名

      信学技報

      巻: IBISML2019-18 ページ: 1-8

  • [雑誌論文] Swish 関数を用いた階層型神経回路網の実対数閾値2020

    • 著者名/発表者名
      田中来輝、渡辺澄夫
    • 雑誌名

      信学技報

      巻: IBISML2019-18 ページ: 9-5

  • [雑誌論文] 最適な確率分布が一意でないときのベイズ学習曲線2020

    • 著者名/発表者名
      永安修也、渡辺澄夫
    • 雑誌名

      信学技報

      巻: NC2019-14 ページ: 107-112

  • [学会発表] 神経回路網研究における代数幾何学的方法とその成果について2019

    • 著者名/発表者名
      渡辺澄夫
    • 学会等名
      神経回路学会
    • 招待講演
  • [備考] 渡辺澄夫

    • URL

      http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi