• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

統計力学的アプローチによる機械学習の計算限界解明アルゴリズム開発

公募研究

研究領域多面的アプローチの統合による計算限界の解明
研究課題/領域番号 25106506
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 理工系
研究機関東京大学

研究代表者

永田 賢二  東京大学, 新領域創成科学研究科, 助教 (10556062)

研究期間 (年度) 2013-04-01 – 2015-03-31
研究課題ステータス 完了 (2014年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2014年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2013年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
キーワード機械学習 / 計算限界解明 / マルコフ連鎖モンテカルロ法 / 自由エネルギー / 特異モデル
研究実績の概要

本研究課題では,統計力学的アプローチに基づき,機械学習の個別問題に対して解の推定精度・限界を明らかにする汎用的なアルゴリズムの開発を行う.このような方法論の構築は,データ数が十分多いという条件下で議論される学習理論の一般的枠組みを拡張し,具体的データ解析の課題において,機械学習の計算限界の解明を促進する.
平成26年度では,昨年度から引き続き,ニクラスの線形識別における変数選択問題について研究遂行した.具体的には,変数の組み合わせに関して全探索し,予測性能を元に評価する手法を取り扱った.その際に,レプリカ交換モンテカルロ法により効率的な全探索を行い,さらにマルチヒストグラム法を用いることで,予測誤差に関する状態密度関数を推定する手法を提案した.さらに,重要な変数の組み合わせを求める多重検定を求めるアルゴリズム開発も行った.
上記課題に加え,動径基底関数(RBF)ネットワークによる回帰問題についても取り組んだ.RBFネットワークは階層的な構造を持つ確率モデルであり,その学習理論は代数幾何学的アプローチにより進められており,実対数閾値(RLCT)によりデータ数無限の漸近挙動が明らかにされている.本研究では,RLCTを拡張し,ベイズ比熱を定義し,データからベイズ比熱を求めることにより,推定結果と得られたベイズ比熱の値の関係から,推定の成否を判別できることを明らかにした.

現在までの達成度 (段落)

26年度が最終年度であるため、記入しない。

今後の研究の推進方策

26年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2014 実績報告書
  • 2013 実績報告書
  • 研究成果

    (9件)

すべて 2015 2014 2013

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 1件、 謝辞記載あり 2件) 学会発表 (5件) (うち招待講演 1件)

  • [雑誌論文] An exhaustive search and stability of sparse estimation for feature selection problem2015

    • 著者名/発表者名
      Kenji Nagata, Jun Kitazono, Shin-ichi Nakajima, Satoshi Eifuku, Ryoi Tamura and Masato Okada
    • 雑誌名

      IPSJ Transactions on Mathematical Modeling and Its Applications

      巻: 印刷中

    • NAID

      130005091237

    • 関連する報告書
      2014 実績報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Verification of effectiveness of a probabilistic algorithm for latent structure extraction using an associative memory model2014

    • 著者名/発表者名
      Kensuke Wakasugi, Tatsu Kuwatani, Kenji Nagata, Hideki Asoh and Masato Okad
    • 雑誌名

      Journal of the Physical Society of Japan

      巻: 83 号: 10 ページ: 104801-104801

    • DOI

      10.7566/jpsj.83.104801

    • NAID

      40020226418

    • 関連する報告書
      2014 実績報告書
    • 査読あり / オープンアクセス / 謝辞記載あり
  • [雑誌論文] Distribution estimation of hyperparameters in Markov random field models2014

    • 著者名/発表者名
      Yoshinori Nakanishi-Ohno, Kenji Nagata, Hayaru Shouno, Masato Okada
    • 雑誌名

      Journal of Physics A : Mathematical and Theoretical

      巻: Vol.81 号: 4 ページ: 45001-45001

    • DOI

      10.1088/1751-8113/47/4/045001

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [雑誌論文] A Numerical Analysis of Learning Coefficient in Radial Basis Function Network2013

    • 著者名/発表者名
      Satoru Tokuda, Kenji Nagata, Masato Okada
    • 雑誌名

      IPSJ Transactions on Mathematical Modeling and Its Applications

      巻: 6 ページ: 117-123

    • NAID

      130003385111

    • 関連する報告書
      2013 実績報告書
    • 査読あり
  • [学会発表] 動径基底関数ネットワークのベイズ事後分布が持つ相転移2015

    • 著者名/発表者名
      徳田悟,永田賢二,岡田真人
    • 学会等名
      日本物理学会第70回年次大会
    • 発表場所
      早稲田大学,東京都,日本
    • 年月日
      2015-03-24
    • 関連する報告書
      2014 実績報告書
  • [学会発表] 特徴選択問題におけるスパース推定の安定性と解の網羅的探索法2014

    • 著者名/発表者名
      永田賢二,北園淳,中島伸一,永福智志,田村了以,岡田真人
    • 学会等名
      第100回数理モデル化と問題解決研究発表会
    • 発表場所
      日本科学未来館,東京都,日本
    • 年月日
      2014-09-25
    • 関連する報告書
      2014 実績報告書
  • [学会発表] An Efficient Exhaustive Search for Variable Selection Using MCMC method2013

    • 著者名/発表者名
      Kenji Nagata
    • 学会等名
      ELC International Meeting on "Inference, Computation, and Spin Glasses" (ICSG2013)
    • 発表場所
      Hokkaido University, Sapporo, Japan
    • 関連する報告書
      2013 実績報告書
  • [学会発表] スペクトル分解によるデータ駆動科学2013

    • 著者名/発表者名
      永田賢二
    • 学会等名
      ELC・疎性モデリング合同シンポジウム/公募説明会
    • 発表場所
      九州大学,福岡県,日本
    • 関連する報告書
      2013 実績報告書
    • 招待講演
  • [学会発表] 交換モンテカルロ法を用いた変数選択問題における解の効率的全数探索2013

    • 著者名/発表者名
      永田賢二,北園淳,中島伸一,永福智志,田村了以,岡田真人
    • 学会等名
      第16回情報論的学習理論ワークショップ(IBIS2013)
    • 発表場所
      東京工業大学,東京都,日本
    • 関連する報告書
      2013 実績報告書

URL: 

公開日: 2013-05-15   更新日: 2019-07-29  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi