• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2012 Fiscal Year Research-status Report

漸近理論に基づく潜在変数推定精度の近似計算法

Research Project

Project/Area Number 24700139
Research Category

Grant-in-Aid for Young Scientists (B)

Research InstitutionTokyo Institute of Technology

Principal Investigator

山崎 啓介  東京工業大学, 総合理工学研究科(研究院), 助教 (60376936)

Project Period (FY) 2012-04-01 – 2015-03-31
Keywords数理統計学 / 階層型学習モデル / 漸近解析
Research Abstract

並列計算が可能な計算機を購入し、潜在変数推定の精度の計算を行った。予備研究で得られた理論値と計算機実験での値が概ね一致していることを確認した。実験に用いたモデルは混合正規分布である。コンポーネントの距離が近い場合にはクラス間の類似度が高いため、実験値は不安定になる。この場合は理論値に含まれるフィッシャー情報行列の逆数も発散に近い振る舞いをみせ、理論値と実験値双方で値が大きくぶれるため、対策が必要である。計訓練データ数を増加させることで理論値と実験値の比較が可能であるが、どの程度まで増やせばよいか、など新たな課題がみつかった。
また、データの一部の潜在変数が観測可能な場合(半教師あり学習)において、理論値を導出した。半教師あり学習は潜在変数の値が人手を用いて入手可能な場合に、それを利用する実用的な学習設定である。理論値は教師なし学習の場合と同様に、最尤法とベイズ法では主要項の係数が異なることがわかった。また、幾つかの仮定は必要であるが、多くの場合でベイズ法の推定誤差が最尤法のそれよりも小さいことが証明された。
ベイズ法を用いた潜在変数推定はマルコフ連鎖モンテカルロ法(MCMC法)を行う必要があり、実データ解析では計算量が多いことからあまり利用されていない。しかしながら理論的にその有用が証明されたので、実際にMCMC法を用いてクラスタリング結果の性質を実験的に検証した。変数に冗長性がない場合はサンプリング結果が安定していることが確認できた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

計算機による検証は計画通り進んでいる。
また当初の計画になかった半教師ありデータにおける理論値の導出に成功した。
それについて国内外の研究会で成果を報告できた。

Strategy for Future Research Activity

半教師あり学習の検証や、理論値と実験値の安定的な比較ができるための訓練データ数の考察など新たな課題が見つかったので、それを含めて研究を続ける。また当初の計画通り、「潜在変数の数に冗長性がある場合」についての計算機実験による精度計算や、理論値を応用した最適構造設計法を構築する。

Expenditure Plans for the Next FY Research Funding

国際会議の開催場所が近く、また他の目的の使用も節約を行ったため次年度での研究費が発生した。未使用額は上記計画のための研究費に組み込む

  • Research Products

    (9 results)

All 2013 2012 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results) Presentation (5 results) (of which Invited: 1 results) Remarks (1 results)

  • [Journal Article] Comparing Two Bayes Methods Based on the Free Energy Functions in Bernoulli Mixtures2013

    • Author(s)
      Keisuke Yamazaki, Daisuke Kaji
    • Journal Title

      Neural Networks

      Volume: 15 Pages: 36-43

    • DOI

      10.1016/j.neunet.2013.03.002

    • Peer Reviewed
  • [Journal Article] On Equivalent Parameter Learning in Simplified Feature Space Based on Bayesian Asymptotic Analysis2012

    • Author(s)
      Keisuke Yamazaki
    • Journal Title

      Neural Networks

      Volume: 31 Pages: 73-80

    • DOI

      10.1016/j.neunet.2012.03.006

    • Peer Reviewed
  • [Journal Article] 基本図の線形性に基づくSOVモデルのパラメータ推定2012

    • Author(s)
      小林浩一, 山崎啓介
    • Journal Title

      日本応用数理学会論文誌

      Volume: 22(4) Pages: 287-300

    • Peer Reviewed
  • [Presentation] MCMC Sampling on Latent-Variable Space of Mixture of Probabilistic PCA2012

    • Author(s)
      Keisuke Yamazaki
    • Organizer
      SCIS-ISIS
    • Place of Presentation
      Kobe, Japan
    • Year and Date
      20121120-20121124
  • [Presentation] Accuracy of Latent Variable Estimation with the Maximum Likelihood Estimator for Partially Observed Hidden Data2012

    • Author(s)
      Keisuke Yamazaki
    • Organizer
      ISITA
    • Place of Presentation
      Convention Center, Hawaii
    • Year and Date
      20121028-20121031
  • [Presentation] 潜在変数の分布推定誤差に関する漸近解析2012

    • Author(s)
      山崎啓介
    • Organizer
      第3回 Latent Dynamics研究会
    • Place of Presentation
      東京大学
    • Year and Date
      20120924-20120924
    • Invited
  • [Presentation] 制約がある分布でのベイズクラスタリングについて2012

    • Author(s)
      山崎啓介
    • Organizer
      日本神経回路学会全国大会
    • Place of Presentation
      名古屋工業大学
    • Year and Date
      20120912-20120914
  • [Presentation] 完全データと不完全データの混合におけるベイズ潜在変数推定の精度2012

    • Author(s)
      山崎啓介
    • Organizer
      電子情報通信学会情報論的学習理論と機械学習研究会
    • Place of Presentation
      京都キャンパスプラザ
    • Year and Date
      20120620-20120621
  • [Remarks] 論文・発表リスト

    • URL

      http://watanabe-www.math.dis.titech.ac.jp/users/yamazaki/list.txt

URL: 

Published: 2014-07-24  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi