• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2011 年度 実施状況報告書

カーネル法を用いた学習アルゴリズムの情報論的解釈と発展

研究課題

研究課題/領域番号 23700175
研究機関奈良先端科学技術大学院大学

研究代表者

渡辺 一帆  奈良先端科学技術大学院大学, 情報科学研究科, 助教 (10506744)

研究期間 (年度) 2011-04-28 – 2015-03-31
キーワード混合モデル / ノンパラメトリック推定 / 離散分布 / クラスタリング
研究概要

混合モデルはクラスタリングや確率密度推定に用いられる学習モデルである。混合モデルの既存の学習法である凸クラスタリング法やカーネルベクトル量子化を含む統一的な学習法を提案し、その有効性を数値実験により検証した。有限混合分布の学習においては混合数を適切に決めることが必要となるが、混合数自体もデータから推定するアプローチの一つとして、混合分布を構成する重み分布に連続分布を含む一般の分布を仮定したノンパラメトリック推定法がある。最尤推定を用いたこの枠組みでは、最適な重み分布が離散分布で与えられること、およびそのサポートの数が学習データ数以下になることが示されている。しかしながら、最尤推定の性質上、与えられたデータに過学習することが起こりやすい。 本研究では、最尤推定における対数尤度関数を一般化した目的関数を構成し、その最小化による推定法を提案した。この目的関数は一つのパラメータを持っており、パラメータが無限大の極限ではカーネルベクトル量子化法の目的関数に一致する。この統一的な目的関数について、離散分布の最適性を示し、それを求める学習アルゴリズムを構成した。また、レニーダイバージェンスやガンマダイバージェンスなどの確率分布間のダイバージェンスの最小化との関係を明らかにした。最尤推定からの偏りと推定の分散を考察し、平均汎化誤差の意味で最適なパラメータの学習データ数に関するオーダーを評価した。人工データを用いた数値実験により、パラメータを調整することで最尤推定の場合に比べて汎化誤差を改善できることが示された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

上記の学習法について、真の分布のべき乗に比例する分布からのレニーダイバージェンス最小化という情報論的解釈を与えており、汎化誤差の定量的評価を学習データ数に関するオーダーにより与えている。この解釈を用いた学習法の最適設計や汎化誤差のより詳細な評価などが残されており、現在検討している。

今後の研究の推進方策

今後はダイバージェンス最小化と最大エントロピー原理やミニマックス符号長原理との関係について調査し、計算機実験による検証を行う。特に正規化最尤法などのミニマックス原理による学習アルゴリズムやモデル選択法について情報集収するため、国際ワークショップに参加し、国外グループへの訪問を行う。

次年度の研究費の使用計画

海外出張の回数を平成24年度中に増やすことが必要な状況になったため、平成23年度の執行計画を見直し、研究費の一部を繰り越した。平成23年度の研究成果について国際会議での発表を行い、国外研究グループからの専門知識の供与を受けるため海外出張を行う。数値計算ソフトウェアを用い、計算機による実験を行う。

  • 研究成果

    (12件)

すべて 2012 2011 その他

すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (8件) 備考 (1件)

  • [雑誌論文] An alternative view of variational Bayes and asymptotic approximations of free energy2012

    • 著者名/発表者名
      K.Watanabe
    • 雑誌名

      Machine Learning

      巻: 86 ページ: 273-293

    • DOI

      10.1007/s10994-011-5264-5

    • 査読あり
  • [雑誌論文] Divergence measures and a general framework for local variational approximation2011

    • 著者名/発表者名
      K.Watanabe, M.Okada, K.Ikeda
    • 雑誌名

      Neural Networks

      巻: 24 ページ: 1102-1109

    • DOI

      10.1016/j.neunet.2011.06.004

    • 査読あり
  • [雑誌論文] Approximate Bayesian estimation of varying binomial process2011

    • 著者名/発表者名
      K.Watanabe, M.Okada
    • 雑誌名

      IEICE Transactions on Fundamentals

      巻: E94-A ページ: 2879-2885

    • DOI

      10.1587/transfun.E94.A.2879

    • 査読あり
  • [学会発表] Minimum variational stochastic complexity and average generalization error in latent variable models2011

    • 著者名/発表者名
      K.Watanabe
    • 学会等名
      Workshop on Information Theoretic Methods in Science and Engineering(招待講演)
    • 発表場所
      Helsinki, Finland
    • 年月日
      10, Aug, 2011
  • [学会発表] Phase diagrams of a variational Bayesian approach with ARD prior in NIRS-DOT2011

    • 著者名/発表者名
      A.Miyamoto, K.Watanabe, K.Ikeda, M.Sato
    • 学会等名
      International Joint Conference on Neural Networks
    • 発表場所
      San Jose, California, USA
    • 年月日
      1, Aug, 2011
  • [学会発表] アクティブ計測とパッシブ計測を用いたパケットロス率推定法

    • 著者名/発表者名
      宮本敦史, 渡辺一帆, 池田和司
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 発表場所
      統計数理研究所
    • 年月日
      平成24年3月13日
  • [学会発表] 付加的計測を用いたネットワークトモグラフィ

    • 著者名/発表者名
      宮本敦史, 渡辺一帆, 池田和司
    • 学会等名
      電子情報通信学会ソサイエティ大会
    • 発表場所
      北海道大学
    • 年月日
      平成23年9月15日
  • [学会発表] ブレグマン情報量を用いたベイズ学習の局所変分近似

    • 著者名/発表者名
      渡辺一帆,岡田真人,池田和司
    • 学会等名
      電子情報通信学会ニューロコンピューティング研究会
    • 発表場所
      神戸大学
    • 年月日
      平成23年7月25日
  • [学会発表] NIRS-DOT のための変分ベイズによる逆問題解法

    • 著者名/発表者名
      宮本敦史,渡辺一帆,池田和司,佐藤雅昭
    • 学会等名
      第55回システム制御情報学会研究発表講演会
    • 発表場所
      大阪大学
    • 年月日
      平成23年5月19日
  • [学会発表] アクティブ計測とパッシブ計測を用いたネットワークトモグラフィ

    • 著者名/発表者名
      宮本敦史, 渡辺一帆, 池田和司
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 発表場所
      奈良女子大学
    • 年月日
      平成23年11月9日
  • [学会発表] 混合分布のノンパラメトリック推定と最小ダイバージェンス法

    • 著者名/発表者名
      渡辺一帆,池田思朗
    • 学会等名
      電子情報通信学会情報論的学習理論と機械学習研究会
    • 発表場所
      奈良女子大学
    • 年月日
      平成23年11月10日
  • [備考]

    • URL

      http://hawaii.naist.jp/~wkazuho/list-e.html

URL: 

公開日: 2013-07-10  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi