カーネル法を用いた学習アルゴリズムの情報論的解釈と発展

2014 年度 実績報告書

• 研究課題/領域番号: 23700175
• 研究機関: 豊橋技術科学大学
• 研究代表者: 渡辺 一帆 豊橋技術科学大学, 工学(系)研究科(研究院), 講師 (10506744)
• 研究期間 (年度): 2011-04-28 – 2015-03-31
• キーワード: 混合モデル / レート歪み関数 / 再構成分布 / イプシロン不感応損失 / 変分ベイズ法 / 漸近的ミニマックス性 / 国際情報交換 / フィンランド

研究実績の概要

混合モデルはクラスタリングや確率密度推定に用いられる学習モデルである。前年度までに提案された凸クラスタリング法やカーネルベクトル量子化を含む統一的な学習法について、論文誌上での発表を行った。これまでの研究において、この学習法はレート歪み関数を求める最適化問題と捉えられることが示された。外れ値に対する頑健性のために用いられるイプシロン不感応損失関数についてレート歪み関数の下界および上界評価を与えた。イプシロン不感応損失の重み付け和を最小化する方法を構成し、対応する雑音モデルの混合モデルの学習法を導出し、レート歪み関数の近似計算法を導出した。
変分ベイズ法はベイズ推定の効率的な近似法として広く用いられている。特に、データの背後にある潜在的な要因を疎に推定する問題として、近赤外拡散光断層撮影において関連度自動決定を用いた場合や、Webなどの文書解析や購買データの解析法として用いられる潜在ディリクレ配分法に関して、変分ベイズ法の目的関数の振る舞いを詳細に解析し、疎な推定結果が得られる事前分布の設定を明らかにした。
また、逐次的に与えられるデータに対し適応的に予測を変化させていく枠組みであるオンライン学習について、データセットの出方についての損失の最悪値によって評価される精度の最適値を効率よく近似する漸近的ミニマックス性の達成条件を考察した。離散データの生成モデルである多項モデルにおいては、漸近的ミニマックス性を達成するためにはデータ数の知識が必要であることを示し、データ数に対する単純な依存性を持つ共役事前分布を用いたベイズ予測により、漸近的ミニマックス性が達成できることを示した。

研究成果

• [雑誌論文] Entropic risk minimization for nonparametric estimation of mixing distributions (2015)
  • 著者名/発表者名: Kazuho Watanabe and Shiro Ikeda
  • 雑誌名: Machine Learning 巻: 99(1) ページ: 119-136
  • DOI: 10.1007/s10994-014-5467-7
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Variational inference with ARD prior for NIRS diffuse optical tomography (2015)
  • 著者名/発表者名: Atsushi Miyamoto, Kazuho Watanabe, Kazushi Ikeda, and Masa-aki Sato
  • 雑誌名: IEEE Transactions on Neural Networks and Learning Systems 巻: 26(5) ページ: 1109-1114
  • DOI: 10.1109/TNNLS.2014.2328576
  • 査読あり / 謝辞記載あり
• [雑誌論文] Variational Bayesian inference algorithms for infinite relational model of network data (2015)
  • 著者名/発表者名: Takuya Konishi, Takatomi Kubo, Kazuho Watanabe, and Kazushi Ikeda
  • 雑誌名: IEEE Transactions on Neural Networks and Learning Systems 巻: to be assigned ページ: to be paginated
  • DOI: 10.1109/TNNLS.2014.2362012
  • 査読あり
• [雑誌論文] Achievability of asymptotic minimax regret by horizon-dependent and horizon-independent strategies (2015)
  • 著者名/発表者名: Kazuho Watanabe and Teemu Roos
  • 雑誌名: Journal of Machine Learning Research 巻: to be assigned ページ: to be paginated
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Vector quantization based on epsilon-insensitive mixture models (2015)
  • 著者名/発表者名: Kazuho Watanabe
  • 雑誌名: Neurocomputing 巻: to be assigned ページ: to be paginated
  • DOI: 10.1016/j.neucom.2015.01.081
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] Biclustering Multivariate Data for Correlated Subspace Mining (2015)
  • 著者名/発表者名: Kazuho Watanabe, Hsiang-Yun Wu, Yusuke Niibe, Shigeo Takahashi, and Issei Fujishiro
  • 学会等名: IEEE Pacific Visualization Symposium 2015 (PacificVis 2015)
  • 発表場所: Hangzhou, China
  • 年月日: 2015-04-14 – 2015-04-17
• [学会発表] レート歪み関数と測度の最適化 (2014)
  • 著者名/発表者名: 渡辺一帆
  • 学会等名: 第３７回情報理論とその応用シンポジウム（SITA2014）ワークショップ
  • 発表場所: 富山県黒部市
  • 年月日: 2014-12-09 – 2014-12-12
  • 招待講演
• [学会発表] Analysis of variational Bayesian latent Dirichlet allocation: weaker sparsity than MAP (2014)
  • 著者名/発表者名: Shinichi Nakajima, Issei Sato, Masashi Sugiyama, Kazuho Watanabe, and Hiroko Kobayashi
  • 学会等名: Neural Information Processing Systems (NIPS2014)
  • 発表場所: Montreal, Canada
  • 年月日: 2014-12-08 – 2014-12-13
• [学会発表] Asymptotic Analysis of Variational Bayesian Latent Dirichlet Allocation (2014)
  • 著者名/発表者名: Shinichi Nakajima, Issei Sato, Masashi Sugiyama, Kazuho Watanabe, and Hiroko Kobayashi
  • 学会等名: 情報論的学習理論ワークショップ (IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-16 – 2014-12-19
• [学会発表] Rate-distortion analysis for an epsilon-insensitive loss function (2014)
  • 著者名/発表者名: Kazuho Watanabe
  • 学会等名: Workshop on Information Theoretic Methods in Science and Engineering (WITMSE2014)
  • 発表場所: Honolulu, USA
  • 年月日: 2014-07-05 – 2014-07-07
  • 招待講演
• [学会発表] Bayesian properties of normalized maximum likelihood and its fast computation (2014)
  • 著者名/発表者名: Andrew Barron, Teemu Roos, and Kazuho Watanabe
  • 学会等名: IEEE International Symposium on Information Theory (ISIT2014)
  • 発表場所: Honolulu, USA
  • 年月日: 2014-06-29 – 2014-07-04
• [備考] 代表者のホームページ
  • URL: http://www.lisl.cs.tut.ac.jp/wkazuho/index.html