• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明

研究課題

研究課題/領域番号 15K00331
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ソフトコンピューティング
研究機関東京工業大学

研究代表者

渡邊 澄夫  東京工業大学, 情報理工学院, 教授 (80273118)

研究期間 (年度) 2015-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2017年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2016年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2015年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
キーワード情報量規準 / 交差検証 / 周辺尤度 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数 / クロスバリデーション / 汎化損失 / 双有理不変量 / 交差損失 / 情報量規準WAIC / 非負値行列分解 / 汎関数分散 / 代数幾何
研究成果の概要

ベイズ推測において統計モデルと事前分布の最適化のための規準として周辺尤度と汎化誤差が知られているが、その相違について十分には明らかにされていなかった。本研究では主に4つの研究成果が得られた。(1)事後分布が正規分布で近似できるとき、WAICと交差検証を最小化するハイパーパラメータは平均汎化誤差を最小化する値に近づくが周辺尤度の最大化では近づかない。(2)事後分布が正規分布で近似できない例として非負値行列分解の汎化誤差と周辺尤度を解明した。(3)同じ問題設定において変分自由エネルギーの漸近挙動を解明した。(4)混合正規分布の最強検定を与える自由エネルギーの定数オーダー項の分布を導出した。

研究成果の学術的意義や社会的意義

データの分析において統計モデルと事前分布をどのように設計したらよいかという問題は実社会においても常に必要になる課題である。この課題に対して情報量規準、交差検証、周辺尤度は、既に広く実用に用いられているが、それらの相違については必ずしも明確にはされていなかった。本研究により、次のことが明らかになった。(1)WAICと交差検証の最小化は平均汎化誤差を最小にするが、周辺尤度最大化ではそうならない。(2)非負値行列分解における汎化誤差と周辺尤度の漸近挙動の上界の値を求めることができる。(3)そのモデルの変分自由エネルギーの値を知ることができる。(4)混合正規分布のベイズ最強検定を作ることができる。

報告書

(6件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 2015 実施状況報告書
  • 研究成果

    (26件)

すべて 2020 2019 2018 2017 2016 2015 その他

すべて 雑誌論文 (9件) (うち査読あり 5件) 学会発表 (15件) (うち国際学会 4件、 招待講演 6件) 図書 (1件) 備考 (1件)

  • [雑誌論文] Asymptotic Bayesian Generalization Error in Latent Dirichlet Allocation and Stochastic Matrix Factorization.2020

    • 著者名/発表者名
      Naoki Hayashi, Sumio Watanabe.
    • 雑誌名

      SN Computer Science

      巻: 1 号: 2 ページ: 1-22

    • DOI

      10.1007/s42979-020-0071-3

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] 混合多項分布のベイズ汎化誤差の漸近挙動2020

    • 著者名/発表者名
      渡邉匠、渡辺澄夫
    • 雑誌名

      信学技報

      巻: IBISML2019-18 ページ: 1-8

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Swish 関数を用いた階層型神経回路網の実対数閾値2020

    • 著者名/発表者名
      田中来輝、渡辺澄夫
    • 雑誌名

      信学技報

      巻: IBISML2019-18 ページ: 9-5

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] 最適な確率分布が一意でないときのベイズ学習曲線2020

    • 著者名/発表者名
      永安修也、渡辺澄夫
    • 雑誌名

      信学技報

      巻: NC2019-14 ページ: 107-112

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Higher Order Equivalence of Bayes Cross Validation and WAIC2018

    • 著者名/発表者名
      Sumio Watanabe
    • 雑誌名

      Springer Proceedings in Mathematics and Statistics

      巻: 25210.1007/978-3-319-97798-0 ページ: 47-73

    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] Upper bound of Bayesian generalization error in non-negative matrix factorization2017

    • 著者名/発表者名
      Hayashi Naoki、Watanabe Sumio
    • 雑誌名

      Neurocomputing

      巻: 266 ページ: 21-28

    • DOI

      10.1016/j.neucom.2017.04.068

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Phase Transition Structure of Variational Bayesian Nonnegative Matrix Factorization2017

    • 著者名/発表者名
      Kohjima Masahiro、Watanabe Sumio
    • 雑誌名

      Proc. of ICANN

      巻: Vol.2 ページ: 146-154

    • DOI

      10.1007/978-3-319-68612-7_17

    • ISBN
      9783319686110, 9783319686127
    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Tighter upper bound of real log canonical threshold of non-negative matrix factorization and its application to Bayesian inference2017

    • 著者名/発表者名
      Hayashi Naoki、Watanabe Sumio
    • 雑誌名

      IEEE Symposium Series on Computational Intelligence

      巻: Vol.1 ページ: 1-8

    • DOI

      10.1109/ssci.2017.8280811

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Difference between Bayes Cross Validation and WAIC for Conditional Independent Samples2017

    • 著者名/発表者名
      Sumio Watanabe
    • 雑誌名

      Proc. of 10th WITMSE2017

      巻: Vol.1 ページ: 38-41

    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 神経回路網研究における代数幾何学的方法とその成果について2019

    • 著者名/発表者名
      渡辺澄夫
    • 学会等名
      神経回路学会
    • 関連する報告書
      2019 実績報告書
    • 招待講演
  • [学会発表] 混合正規分布の均一性検定におけるベイズ検定統計量の漸近挙動2018

    • 著者名/発表者名
      仮屋夏樹 渡辺澄夫
    • 学会等名
      2018年度統計関連連合大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] Cross Validation and WAIC in layered neural networks2018

    • 著者名/発表者名
      Sumio Watanabe
    • 学会等名
      Deep Learning: Theory, Algorithms, and Applications
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 混合ポアソン分布の実対数閾値とベイズ汎化誤差について、2018

    • 著者名/発表者名
      佐藤件一郎、渡辺澄夫、
    • 学会等名
      情報論的学習理論と機械学習研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 確率行列分解の実対数閾値とBayes学習への応用、2018

    • 著者名/発表者名
      林 直輝、渡辺澄夫、
    • 学会等名
      情報論的学習理論と機械学習研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 非負値行列分解における実対数閾値の実験的考察2017

    • 著者名/発表者名
      林直輝 渡辺澄夫
    • 学会等名
      電子情報通信学会NC研究会
    • 発表場所
      機械振興会館
    • 年月日
      2017-03-13
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Bayesian sparse regression and information criteria for singular models. International Workshop2017

    • 著者名/発表者名
      渡邊澄夫
    • 学会等名
      Algebraic and Geometric Methods in Statistics
    • 発表場所
      統計数理研究所
    • 年月日
      2017-03-07
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会
  • [学会発表] 非負値行列分解の実対数閾値とBayes学習への応用2016

    • 著者名/発表者名
      林直輝 渡辺澄夫
    • 学会等名
      電子情報通信学会情報論的学習理論研究会
    • 発表場所
      京都大学
    • 年月日
      2016-11-16
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] ベイズ推論2016

    • 著者名/発表者名
      渡邊澄夫
    • 学会等名
      電子情報通信学会ソサイエティ大会
    • 発表場所
      北海道大学
    • 年月日
      2016-09-20
    • 関連する報告書
      2016 実施状況報告書
    • 招待講演
  • [学会発表] Higher Order Analysis of Bayesian Cross Validation in Regular Asymptotic Theory2016

    • 著者名/発表者名
      渡邊澄夫
    • 学会等名
      Information Geometry and its Applications IV
    • 発表場所
      Liblice Castle Hote, Czech Republic
    • 年月日
      2016-06-12
    • 関連する報告書
      2016 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 非ガウス可解モデルを用いたレプリカモンテカルロ法 による自由エネルギーの計算精度の評価2016

    • 著者名/発表者名
      須貝将士 渡邊澄夫
    • 学会等名
      信学技報
    • 発表場所
      玉川大学
    • 年月日
      2016-03-23
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] ハミルトニアンモンテカルロ法を用いた神経回路網の学習と汎化誤差の推定について2016

    • 著者名/発表者名
      中村文士 渡邊澄夫
    • 学会等名
      信学技報
    • 発表場所
      統計数理研究所
    • 年月日
      2016-03-17
    • 関連する報告書
      2015 実施状況報告書
  • [学会発表] 潜在変数を持つモデルの評価について2016

    • 著者名/発表者名
      渡邊澄夫
    • 学会等名
      データ科学シンポジウム
    • 発表場所
      大阪大学
    • 年月日
      2016-01-22
    • 関連する報告書
      2015 実施状況報告書
    • 招待講演
  • [学会発表] Cross Validation and WAIC in Statistical Model Evaluation2016

    • 著者名/発表者名
      渡邊澄夫
    • 学会等名
      Symposium ‐ What is a good model?
    • 発表場所
      統計数理研究所
    • 年月日
      2016-01-12
    • 関連する報告書
      2015 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] スパース表現を用いた非線形多層主成分分析における 学習結果の分類法について2015

    • 著者名/発表者名
      香田夏輝 渡邊澄夫
    • 学会等名
      情報論的学習理論と機械学習研究会
    • 発表場所
      つくば国際会議場
    • 年月日
      2015-11-16
    • 関連する報告書
      2015 実施状況報告書
  • [図書] Mathematical theory of Bayesian statistics2018

    • 著者名/発表者名
      Sumio Watanabe
    • 総ページ数
      300
    • 出版者
      CRC Press
    • ISBN
      9781482238068
    • 関連する報告書
      2018 実施状況報告書
  • [備考] 渡辺澄夫

    • URL

      http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html

    • 関連する報告書
      2019 実績報告書 2018 実施状況報告書 2017 実施状況報告書 2016 実施状況報告書 2015 実施状況報告書

URL: 

公開日: 2015-04-16   更新日: 2021-02-19  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi