• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

隠れ変数を持つ確率モデルへの温度の導入による相転移現象の探究

Research Project

Project/Area Number 20650019
Research Category

Grant-in-Aid for Challenging Exploratory Research

Allocation TypeSingle-year Grants
Research Field Intelligent informatics
Research InstitutionThe University of Tokyo

Principal Investigator

岡田 真人  The University of Tokyo, 大学院・新領域創成科学研究科, 教授 (90233345)

Project Period (FY) 2008 – 2009
Project Status Completed (Fiscal Year 2009)
Budget Amount *help
¥3,000,000 (Direct Cost: ¥3,000,000)
Fiscal Year 2009: ¥1,300,000 (Direct Cost: ¥1,300,000)
Fiscal Year 2008: ¥1,700,000 (Direct Cost: ¥1,700,000)
Keywords隠れ変数 / 確率モデル / アニーリング / 相転移 / 学習 / 確立モデル
Research Abstract

昨年度の研究から,ガウス混合モデル(Gauss Mixture Model, GMM)では温度によってピッチフォーク型の分岐現象を起こり,GMMが二次相転移を起こすことが示唆された.
この知見に基づき本年度は,温度パラメータの導入に関する拡張を行った.昨年度の手法では,事後確率分布全体に温度パラメータ一つを導入したのに対し,本年度では,尤度関数と事前確率分布の2つの項にそれぞれ温度パラメータを導入する枠組みを提案した.この枠組みを用いることで,従来のアニーリングを行うと同時に,事前確率分布のハイパーパラメータを最適にするアルゴリズムを導くことに成功した.また,本手法をGMMに変分ベイズ法を適用した場合を研究した.その結果,尤度関数についての温度をさげていくと,ガウス分布が徐々に分離していくことが観測できた.これは,温度導入によって生じる相転移現象が,用いる確率モデルにどのように依存することを示唆した結果であり,アルゴリズムの設計指針の基本的な知見は得られたと考えている.
これらの研究によりGMMは,複雑な多安定状態を持つ大自由度系の性質を調べるのに適した性質を持つことがわかった.そこで本年度は,提案手法を適用する大自由度系として,パーシャルアニーリング系(PA),連想記憶モデル,パーセプトロンの相転移現象を調べた.PAは二温度系の典型例であり,温度パラメータを導入する方法を拡張する良いテストベッドである.また連想記憶モデルとパーセプトロンは多安定状態を比較的容易に設計できる性質の良い系であることが知られている.
本研究により,隠れ変数を持つ確率モデルの相転移現象の基本的な性質はほぼ理解され,さらにこの手法の優れた応用先が明確になった意義は大きい.

Report

(2 results)
  • 2009 Annual Research Report
  • 2008 Annual Research Report
  • Research Products

    (9 results)

All 2010 2009 2008

All Journal Article (7 results) (of which Peer Reviewed: 7 results) Presentation (2 results)

  • [Journal Article] Statistical mechanics of an error correcting code using monotonic and nonmonotonic treelike multilayer perceptrons2010

    • Author(s)
      Florent Cousseau
    • Journal Title

      Physical Review E 81

    • Related Report
      2009 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Statistical mechanical study of partial annealing of a neural network model.2010

    • Author(s)
      Tatsuya Uezu
    • Journal Title

      Journal of Physics A 43

    • Related Report
      2009 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Stability analysis for attractor neural network model of inferior temporal cortex. -relationship between attractor stability and learning order-2010

    • Author(s)
      Tomoyuki Kimoto
    • Journal Title

      Journal of the Physical Society of Japan (印刷中(掲載確定))

    • Related Report
      2009 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Neural network model with discrete and continuous information representation.2009

    • Author(s)
      Jun Kitazono
    • Journal Title

      Journal of the Physical Society of Japan 78

    • Related Report
      2009 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Statistical mechanics of attractor neural network models with synaptic depression.2009

    • Author(s)
      Yasuhiko Igarashi
    • Journal Title

      Journal of Physics : Conference Series 197

    • Related Report
      2009 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Extracting State Transition Dynamics from Multiple Spike Trains Using Hidden Markov Models with Correlated Poisson Distribution2009

    • Author(s)
      Katahira, K.
    • Journal Title

      Neural Computation (印刷中(掲載確定))

    • Related Report
      2008 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Deterministic annealing variant of variational Bayes method.2008

    • Author(s)
      Katahira, K.
    • Journal Title

      Journal of Physics: Conference Series 95

    • Related Report
      2008 Annual Research Report
    • Peer Reviewed
  • [Presentation] 変分ベイズ法における確定的アニーリングとハイパーパラメータの部分最適化について2009

    • Author(s)
      永田賢二
    • Organizer
      情報論的学習理論(IBIS2009)ワークショップ
    • Place of Presentation
      九州大学, 北九州
    • Year and Date
      2009-10-19
    • Related Report
      2009 Annual Research Report
  • [Presentation] Extracting State Transition Dynamics from Multiple Spike Trains with Correkated Poisson HMM2008

    • Author(s)
      Kentaro Katahira
    • Organizer
      Neural Information Processing Systems (NIPS 2008),
    • Place of Presentation
      Vancouver, Canada
    • Year and Date
      2008-12-09
    • Related Report
      2008 Annual Research Report

URL: 

Published: 2008-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi