統計力学的アプローチによる機械学習の計算限界解明アルゴリズム開発

• Project Area: A multifaceted approach toward understanding the limitations of computation
• Project/Area Number: 25106506
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Science and Engineering
• Research Institution: The University of Tokyo
• Principal Investigator: 永田 賢二 東京大学, 新領域創成科学研究科, 助教 (10556062)
• Project Period (FY): 2013-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2014: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2013: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 機械学習 / 計算限界解明 / マルコフ連鎖モンテカルロ法 / 自由エネルギー / 特異モデル

Outline of Annual Research Achievements

本研究課題では，統計力学的アプローチに基づき，機械学習の個別問題に対して解の推定精度・限界を明らかにする汎用的なアルゴリズムの開発を行う．このような方法論の構築は，データ数が十分多いという条件下で議論される学習理論の一般的枠組みを拡張し，具体的データ解析の課題において，機械学習の計算限界の解明を促進する．
平成26年度では，昨年度から引き続き，ニクラスの線形識別における変数選択問題について研究遂行した．具体的には，変数の組み合わせに関して全探索し，予測性能を元に評価する手法を取り扱った．その際に，レプリカ交換モンテカルロ法により効率的な全探索を行い，さらにマルチヒストグラム法を用いることで，予測誤差に関する状態密度関数を推定する手法を提案した．さらに，重要な変数の組み合わせを求める多重検定を求めるアルゴリズム開発も行った．
上記課題に加え，動径基底関数(RBF)ネットワークによる回帰問題についても取り組んだ．RBFネットワークは階層的な構造を持つ確率モデルであり，その学習理論は代数幾何学的アプローチにより進められており，実対数閾値(RLCT)によりデータ数無限の漸近挙動が明らかにされている．本研究では，RLCTを拡張し，ベイズ比熱を定義し，データからベイズ比熱を求めることにより，推定結果と得られたベイズ比熱の値の関係から，推定の成否を判別できることを明らかにした．

Research Progress Status

26年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

26年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] An exhaustive search and stability of sparse estimation for feature selection problem (2015)
  • Author(s): Kenji Nagata, Jun Kitazono, Shin-ichi Nakajima, Satoshi Eifuku, Ryoi Tamura and Masato Okada
  • Journal Title: IPSJ Transactions on Mathematical Modeling and Its Applications Volume: 印刷中
  • NAID: 130005091237
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Verification of effectiveness of a probabilistic algorithm for latent structure extraction using an associative memory model (2014)
  • Author(s): Kensuke Wakasugi, Tatsu Kuwatani, Kenji Nagata, Hideki Asoh and Masato Okad
  • Journal Title: Journal of the Physical Society of Japan Volume: 83 Issue: 10 Pages: 104801-104801
  • DOI: 10.7566/jpsj.83.104801
  • NAID: 40020226418
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] Distribution estimation of hyperparameters in Markov random field models (2014)
  • Author(s): Yoshinori Nakanishi-Ohno, Kenji Nagata, Hayaru Shouno, Masato Okada
  • Journal Title: Journal of Physics A : Mathematical and Theoretical Volume: Vol.81 Issue: 4 Pages: 45001-45001
  • DOI: 10.1088/1751-8113/47/4/045001
  • Peer Reviewed
• [Journal Article] A Numerical Analysis of Learning Coefficient in Radial Basis Function Network (2013)
  • Author(s): Satoru Tokuda, Kenji Nagata, Masato Okada
  • Journal Title: IPSJ Transactions on Mathematical Modeling and Its Applications Volume: 6 Pages: 117-123
  • NAID: 130003385111
  • Peer Reviewed
• [Presentation] 動径基底関数ネットワークのベイズ事後分布が持つ相転移 (2015)
  • Author(s): 徳田悟，永田賢二，岡田真人
  • Organizer: 日本物理学会第70回年次大会
  • Place of Presentation: 早稲田大学，東京都，日本
  • Year and Date: 2015-03-24
• [Presentation] 特徴選択問題におけるスパース推定の安定性と解の網羅的探索法 (2014)
  • Author(s): 永田賢二，北園淳，中島伸一，永福智志，田村了以，岡田真人
  • Organizer: 第100回数理モデル化と問題解決研究発表会
  • Place of Presentation: 日本科学未来館，東京都，日本
  • Year and Date: 2014-09-25
• [Presentation] An Efficient Exhaustive Search for Variable Selection Using MCMC method (2013)
  • Author(s): Kenji Nagata
  • Organizer: ELC International Meeting on "Inference, Computation, and Spin Glasses" (ICSG2013)
  • Place of Presentation: Hokkaido University, Sapporo, Japan
• [Presentation] スペクトル分解によるデータ駆動科学 (2013)
  • Author(s): 永田賢二
  • Organizer: ELC・疎性モデリング合同シンポジウム／公募説明会
  • Place of Presentation: 九州大学，福岡県，日本
  • Invited
• [Presentation] 交換モンテカルロ法を用いた変数選択問題における解の効率的全数探索 (2013)
  • Author(s): 永田賢二，北園淳，中島伸一，永福智志，田村了以，岡田真人
  • Organizer: 第16回情報論的学習理論ワークショップ(IBIS2013)
  • Place of Presentation: 東京工業大学，東京都，日本