• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Research-status Report

マルコフ連鎖モンテカルロ法の挙動に基づくベイズ推定におけるモデル選択手法の開発

Research Project

Project/Area Number 25330283
Research Category

Grant-in-Aid for Scientific Research (C)

Research InstitutionThe University of Tokyo

Principal Investigator

永田 賢二  東京大学, 新領域創成科学研究科, 助教 (10556062)

Project Period (FY) 2013-04-01 – 2017-03-31
Keywords機械学習 / マルコフ連鎖モンテカルロ法 / ベイズ推定 / モデル選択 / スペクトル分解
Research Abstract

本研究課題では,マルコフ連鎖モンテカルロ法(MCMC)法の挙動や緩和過程に基づいたベイズ推定の新たなモデル選択法の開発を行う.
平成25年度では,具体的事例として,スペクトル分解の問題に着目し,そのデータ解析で必要となる動径基底関数(RBF)ネットワークについてのモデル選択法の開発に着手した.このモデルは,階層的な構造を持つ学習モデルであるため,従来のモデル選択手法であるAICやBICが利用できないといった問題がある.近年,こうした階層的な学習モデルについて代数幾何学的アプローチに基づいて,学習の性能を解明する研究が行われており,自由エネルギーや汎化誤差の主要項の係数である学習係数が重要であることが認識されている.しかしながら,学習係数の導出のためにはブローアップを個別の学習モデルで行う必要があり,煩雑な計算になることから,新たな導出法が求められている.
そこで,本研究課題では,交換モンテカルロ法の平均交換率をもとにして,学習係数を導出するアルゴリズムを開発した.具体的には,交換モンテカルロ法の平均交換率の漸近挙動を解明した理論に基づき,シミュレーションにより求められた平均交換率の値から,逆関数法により,学習係数の近似的な値を導出する方法を提案した.その有効性を検証する為に,学習係数が解明されている条件下で提案手法を適用し,理論値と実験値が精度よく一致していることを確認し,また,学習係数が未解明な問題について,提案手法を適用することで,RBFネットワークの学習の性質の解明を行った.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初計画では,実データへの応用を行う前に,そのための理論を確立させる予定であったが,従来の理論を用いることで,新たなアルゴリズムの開発ができたため,当初の計画以上に進展している.

Strategy for Future Research Activity

近年,提案された新たなモデル選択手法であるWBICの有効性をRBFネットワークで検証し,従来手法と計算精度・計算量の両者の観点で比較を行う.従来の自由エネルギーの導出には,多くの温度パラメータでの期待値計算が必要であるのに対し,WBICでは,ひとつの温度パラメータで計算可能であることから,計算量が大幅に削減できることが予想される.

Expenditure Plans for the Next FY Research Funding

平成25年度で行ったシミュレーションが,現有の計算機資源で十分であったため,平成25年度に購入予定であったワークステーションの購入を次年度に見送った.
平成26年度より本格的な実データ解析を行う予定であり,そのための計算資源として,前年度に購入を見送ったワークステーションの購入に計上する.また,成果発表のための国内・国外旅費に計上する.

  • Research Products

    (9 results)

All 2014 2013

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (7 results) (of which Invited: 2 results)

  • [Journal Article] Distribution estimation of hyperparameters in Markov random field models2014

    • Author(s)
      Yoshinori Nakanishi-Ohno, Kenji Nagata, Hayaru Shouno, Masato Okada
    • Journal Title

      Journal of Physics A: Mathematical and Theoretical

      Volume: 47 Pages: 045001.1-14

    • DOI

      doi:10.1088/1751-8113/47/4/045001

    • Peer Reviewed
  • [Journal Article] A Numerical Analysis of Learning Coefficient in Radial Basis Function Network2013

    • Author(s)
      Satoru Tokuda, Kenji Nagata, Masato Okada
    • Journal Title

      IPSJ Transactions on Mathematical Modeling and Its Applications

      Volume: 6 Pages: 117-123

    • Peer Reviewed
  • [Presentation] 交換モンテカルロ法を用いた情報量規準WBICの計算機実験による検証2014

    • Author(s)
      徳田悟,永田賢二,渡辺澄夫,岡田真人
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Place of Presentation
      玉川大学,東京都,日本
    • Year and Date
      20140317-20140318
  • [Presentation] ベイズ推定に基づくスペクトル分解と必要最小計測時間の推定について2014

    • Author(s)
      永田賢二,村岡怜,佐々木岳彦,岡田真人
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Place of Presentation
      玉川大学,東京都,日本
    • Year and Date
      20140317-20140318
  • [Presentation] データ駆動科学の未来像2014

    • Author(s)
      永田賢二
    • Organizer
      東京工業大学 大学院総合理工学研究科 知能システム科学専攻 同窓会
    • Place of Presentation
      東京工業大学,神奈川県,日本
    • Year and Date
      20140301-20140301
    • Invited
  • [Presentation] 連想記憶モデルを用いた確率的潜在構造抽出アルゴリズムの有効性の検証2013

    • Author(s)
      若杉健介,桑谷立,永田賢二,麻生英樹,岡田真人
    • Organizer
      電子情報通信学会ニューロコンピューティング研究会
    • Place of Presentation
      東北大学,宮城県,日本
    • Year and Date
      20131122-20131123
  • [Presentation] スペクトル分解によるデータ駆動科学2013

    • Author(s)
      永田賢二
    • Organizer
      ELC・疎性モデリング合同シンポジウム/公募説明会
    • Place of Presentation
      九州大学,福岡県,日本
    • Year and Date
      20130920-20130920
    • Invited
  • [Presentation] 階層構造を持つ連想記憶モデルの構造発見へのデータ駆動型アプローチ2013

    • Author(s)
      若杉健介,桑谷立,永田賢二,麻生英樹,岡田真人
    • Organizer
      第12回情報科学技術フォーラム(FIT2013)
    • Place of Presentation
      鳥取大学,鳥取県,日本
    • Year and Date
      20130904-20130906
  • [Presentation] An Efficient Exhaustive Search for Variable Selection Using MCMC method2013

    • Author(s)
      Kenji Nagata
    • Organizer
      ELC International Meeting on "Inference, Computation, and Spin Glasses" (ICSG2013)
    • Place of Presentation
      Hokkaido University, Sapporo, Japan
    • Year and Date
      20130728-20130730

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi