• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実施状況報告書

代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明

研究課題

研究課題/領域番号 15K00331
研究機関東京工業大学

研究代表者

渡邊 澄夫  東京工業大学, 情報理工学院, 教授 (80273118)

研究期間 (年度) 2015-04-01 – 2020-03-31
キーワードクロスバリデーション / 情報量規準 / 汎化損失 / 自由エネルギー
研究実績の概要

本研究課題は統計学および機械学習において自由エネルギーと汎化損失を基づいてモデルや事前分布を評価する方法の相違を解明することが目的である。2018年度には次の二つの研究成果が得られた。(1)自由エネルギーはベイズ法を用いた仮説検定の最強検定を与える統計量であるが、帰無仮説が対立仮説の特異点に相当するときの定数部の漸近挙動は解明されていなかったため統計的検定に応用することができなかった。本研究では混合正規分布において1個の正規分布を帰無仮説とし2個の正規分布の混合を対立仮説とする検定においてその定数オーダーの部分が従う確率分布を導出し、統計的検定の基礎を構成した。(2)一般にサンプルから汎化損失を推定するための方法としてクロスバリデーションと情報量規準があるが、事前分布のハイパーパラメータを変化させたときのそれらの量の挙動はデータの数をnとするとき高次のオーダーであり、nの二乗に反比例するため正則な場合においても理論的な解明がなされていなかった。本研究では、ハイパーパラメータを変化させたときの汎化損失・クロスバリデーション・情報量規準WAICの挙動を正則な場合に理論的に考察し、高次のオーダーを与える公式を導出した。その結果、平均値については高次のオーダーにおいても3つの量が等価であることが解明された。また確率変数としてクロスバリデーションと情報量規準WAICが等価であることも解明された。さらにクロスバリデーションと情報量規準WAICを最小化するハイパーパラメータは平均汎化損失を最小にするパラメータに収束するが、平均汎化損失を最小化するハイパーパラメータは確率変数としての汎化損失を最小化する値に収束するとは限らないことが解明された。数値実験によりハイパーパラメータを最適化する際には情報量規準WAICのほうがクロスバリデーションよりも分散が小さいことが多いことを確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

混合正規分布の検定に使われる自由エネルギーの定数オーダーの確率変数の挙動が解明できた。また正則な場合に、また汎化損失、クロスバリデーション、情報量規準WAICがハイパーパラメータの関数としての挙動が解析でき、ハイパーパラメータを最適化することで生じる現象が解明できた。

今後の研究の推進方策

自由エネルギーの定数部が従う確率分布について、さらに詳しい解析をすすめる。汎化損失、クロスバリデーション、情報量規準WAICについてこれまでに解析されてこなかった統計モデルや機械学習のモデルへの応用を検討する。

  • 研究成果

    (4件)

すべて 2018 その他

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (1件) 図書 (1件) 備考 (1件)

  • [雑誌論文] Higher Order Equivalence of Bayes Cross Validation and WAIC2018

    • 著者名/発表者名
      Sumio Watanabe
    • 雑誌名

      Springer Proceedings in Mathematics and Statistics

      巻: 25210.1007/978-3-319-97798-0 ページ: pp.47-73

    • DOI

      10.1007/978-3-319-97798-02

    • 査読あり
  • [学会発表] 混合正規分布の均一性検定におけるベイズ検定統計量の漸近挙動2018

    • 著者名/発表者名
      仮屋夏樹 渡辺澄夫
    • 学会等名
      2018年度統計関連連合大会
  • [図書] Mathematical theory of Bayesian statistics2018

    • 著者名/発表者名
      Sumio Watanabe
    • 総ページ数
      300
    • 出版者
      CRC Press
    • ISBN
      9781482238068
  • [備考] 渡辺澄夫

    • URL

      http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi