カーネル法を用いた学習アルゴリズムの情報論的解釈と発展

• 研究課題/領域番号: 23700175
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: 知能情報学
• 研究機関: 豊橋技術科学大学 (2014); 奈良先端科学技術大学院大学 (2011-2013)
• 研究代表者: 渡辺 一帆 豊橋技術科学大学, 工学(系)研究科(研究院), 講師 (10506744)
• 研究期間 (年度): 2011-04-28 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円); 2014年度: 780千円 (直接経費: 600千円、間接経費: 180千円); 2013年度: 910千円 (直接経費: 700千円、間接経費: 210千円); 2012年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2011年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
• キーワード: 混合モデル / レート歪み関数 / 再構成分布 / イプシロン不感応損失 / 漸近的ミニマックス性 / 変分ベイズ法 / 国際情報交換 / フィンランド / ガンマ分布 / 国際情報交換（フィンランド） / ノンパラメトリック推定 / 離散分布 / クラスタリング

研究成果の概要

混合モデルはクラスタリングや確率密度推定に用いられる学習モデルである。既存の凸クラスタリング法やカーネルベクトル量子化を含む統一的な学習法を導出し、歪み有りデータ圧縮の限界を示すレート歪み関数を求める最適化問題と捉えられることを示した。これまで評価が与えられてこなかった複雑な歪み尺度に対するレート歪み関数に対する評価を与えた。また、最小の符号長からの損失分で測られる逐次予測の精度について、混合モデルにより最適解を効率良く近似する手法を与えた。

研究成果

• [雑誌論文] Entropic risk minimization for nonparametric estimation of mixing distributions (2015)
  • 著者名/発表者名: Kazuho Watanabe and Shiro Ikeda
  • 雑誌名: Machine Learning 巻: 99(1) 号: 1 ページ: 119-136
  • DOI: 10.1007/s10994-014-5467-7
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Variational inference with ARD prior for NIRS diffuse optical tomography (2015)
  • 著者名/発表者名: Atsushi Miyamoto, Kazuho Watanabe, Kazushi Ikeda, and Masa-aki Sato
  • 雑誌名: IEEE Transactions on Neural Networks and Learning Systems 巻: 26(5) 号: 5 ページ: 1109-1114
  • DOI: 10.1109/tnnls.2014.2328576
  • 査読あり / 謝辞記載あり
• [雑誌論文] Variational Bayesian inference algorithms for infinite relational model of network data (2015)
  • 著者名/発表者名: Takuya Konishi, Takatomi Kubo, Kazuho Watanabe, and Kazushi Ikeda
  • 雑誌名: IEEE Transactions on Neural Networks and Learning Systems 巻: to be assigned 号: 9 ページ: 2176-2181
  • DOI: 10.1109/tnnls.2014.2362012
  • 査読あり
• [雑誌論文] Achievability of asymptotic minimax regret by horizon-dependent and horizon-independent strategies (2015)
  • 著者名/発表者名: Kazuho Watanabe and Teemu Roos
  • 雑誌名: Journal of Machine Learning Research 巻: to be assigned
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Vector quantization based on epsilon-insensitive mixture models (2015)
  • 著者名/発表者名: Kazuho Watanabe
  • 雑誌名: Neurocomputing 巻: to be assigned ページ: 32-37
  • DOI: 10.1016/j.neucom.2015.01.081
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] An alternative view of variational Bayes and asymptotic approximations of free energy (2012)
  • 著者名/発表者名: K.Watanabe
  • 雑誌名: Machine Learning 巻: 86 号: 2 ページ: 273-293
  • DOI: 10.1007/s10994-011-5264-5
  • 査読あり
• [雑誌論文] Divergence measures and a general framework for local variational approximation (2011)
  • 著者名/発表者名: K. Watanabe, M. Okada, K. Ikeda
  • 雑誌名: Neural Networks 巻: 24(10) 号: 10 ページ: 1102-1109
  • DOI: 10.1016/j.neunet.2011.06.004
  • 査読あり
• [雑誌論文] Approximate Bayesian Estimation of Varying Binomial Process (2011)
  • 著者名/発表者名: K.Watanabe, M.Okada
  • 雑誌名: IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences 巻: E94-A 号: 12 ページ: 2879-2885
  • DOI: 10.1587/transfun.E94.A.2879
  • NAID: 10030534322
  • ISSN: 0916-8508, 1745-1337
  • 査読あり
• [学会発表] Biclustering Multivariate Data for Correlated Subspace Mining (2015)
  • 著者名/発表者名: Kazuho Watanabe, Hsiang-Yun Wu, Yusuke Niibe, Shigeo Takahashi, and Issei Fujishiro
  • 学会等名: IEEE Pacific Visualization Symposium 2015 (PacificVis 2015)
  • 発表場所: Hangzhou, China
  • 年月日: 2015-04-14 – 2015-04-17
• [学会発表] レート歪み関数と測度の最適化 (2014)
  • 著者名/発表者名: 渡辺一帆
  • 学会等名: 第３７回情報理論とその応用シンポジウム（SITA2014）ワークショップ
  • 発表場所: 富山県黒部市
  • 年月日: 2014-12-09 – 2014-12-12
  • 招待講演
• [学会発表] Analysis of variational Bayesian latent Dirichlet allocation: weaker sparsity than MAP (2014)
  • 著者名/発表者名: Shinichi Nakajima, Issei Sato, Masashi Sugiyama, Kazuho Watanabe, and Hiroko Kobayashi
  • 学会等名: Neural Information Processing Systems (NIPS2014)
  • 発表場所: Montreal, Canada
  • 年月日: 2014-12-08 – 2014-12-13
• [学会発表] Asymptotic Analysis of Variational Bayesian Latent Dirichlet Allocation (2014)
  • 著者名/発表者名: Shinichi Nakajima, Issei Sato, Masashi Sugiyama, Kazuho Watanabe, and Hiroko Kobayashi
  • 学会等名: 情報論的学習理論ワークショップ (IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-16 – 2014-12-19
• [学会発表] Rate-distortion analysis for an epsilon-insensitive loss function (2014)
  • 著者名/発表者名: Kazuho Watanabe
  • 学会等名: Workshop on Information Theoretic Methods in Science and Engineering (WITMSE2014)
  • 発表場所: Honolulu, USA
  • 年月日: 2014-07-05 – 2014-07-07
  • 招待講演
• [学会発表] Bayesian properties of normalized maximum likelihood and its fast computation (2014)
  • 著者名/発表者名: Andrew Barron, Teemu Roos, and Kazuho Watanabe
  • 学会等名: IEEE International Symposium on Information Theory (ISIT2014)
  • 発表場所: Honolulu, USA
  • 年月日: 2014-06-29 – 2014-07-04
• [学会発表] Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation (2014)
  • 著者名/発表者名: A. R. Barron, T. Roos, K. Watanabe
  • 学会等名: 2014 IEEE International Symposium on Information Theory
  • 発表場所: Hawaii Convention Center, Honolulu, Hawaii, USA
• [学会発表] Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion Measure (2013)
  • 著者名/発表者名: K. Watanabe, S. Ikeda
  • 学会等名: 2013 IEEE International Symposium on Information Theory
  • 発表場所: Istanbul Convention & Exhibition Center (ICEC) , Istanbul, Turkey
• [学会発表] Achievability of Asymptotic Minimax Optimality in Online and Batch Coding (2013)
  • 著者名/発表者名: K. Watanabe, T. Roos, P. Myllymaki
  • 学会等名: 2013 Workshop on Information Theoretic Methods in Science and Engineering
  • 発表場所: 東京大学山上会館，文京区，東京都
  • 招待講演
• [学会発表] Rate-Distortion Bounds for an Epsilon-Insensitive Distortion Measure (2013)
  • 著者名/発表者名: K. Watanabe
  • 学会等名: IEEE Information Theory Workshop
  • 発表場所: School of Engineering, University of Seville, Sevilla, Spain
• [学会発表] Vector Quantization Using Mixture of Epsilon-Insensitive Components (2013)
  • 著者名/発表者名: K. Watanabe
  • 学会等名: 2013International Conference on Neural Information Processing
  • 発表場所: EXCO (Daegu Exhibition & Convention Center), Daegu, Korea
• [学会発表] Achievability of Asymptotic Minimax Regret in Online and Batch Prediction (2013)
  • 著者名/発表者名: K. Watanabe, T. Roos, P. Myllymaki
  • 学会等名: Asian Conference on Machine Learning
  • 発表場所: Australian National University, Canberra, Australia
• [学会発表] Phase diagrams of a variational Bayesian approach with ARD prior in NIRS-DOT (2011)
  • 著者名/発表者名: A.Miyamoto, K.Watanabe, K.Ikeda, M.Sato
  • 学会等名: International Joint Conference on Neural Networks
  • 発表場所: San Jose, California, USA
• [学会発表] Minimum variational stochastic complexity and average generalization error in latent variable models (2011)
  • 著者名/発表者名: K.Watanabe
  • 学会等名: Workshop on Information Theoretic Methods in Science and Engineering(招待講演)
  • 発表場所: Helsinki, Finland
• [学会発表] Convex formulation for nonparametric estimation of mixing distribution
  • 著者名/発表者名: K. Watanabe, S. Ikeda
  • 学会等名: Workshop on Information Theoretic Methods in Science and Engineering
  • 発表場所: Amsterdam, Netherlands
  • 招待講演
• [学会発表] Packet Loss Rate Estimation with Active and Passive Measurements
  • 著者名/発表者名: A. Miyamoto, K. Watanabe, K. Ikeda
  • 学会等名: Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
  • 発表場所: Hollywood, California, USA
• [学会発表] 自由エネルギーによる潜在変数推定精度の計算法
  • 著者名/発表者名: 山崎 啓介，渡辺一帆，梶 大介
  • 学会等名: 情報論的学習理論ワークショップ
  • 発表場所: 東京都文京区
• [学会発表] Rate-distortion function for gamma sources under absolute-log distortion
  • 著者名/発表者名: K. Watanabe, S. Ikeda
  • 学会等名: 情報理論とその応用シンポジウム
  • 発表場所: 大分県別府市
• [学会発表] 漸近的ミニマックス性とデータ数の知識の関係について
  • 著者名/発表者名: 渡辺一帆，テームルース，ペトリミリマキ
  • 学会等名: 電子情報通信学会情報論的学習理論と機械学習研究会
  • 発表場所: 名古屋工業大学
• [学会発表] Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion Measure
  • 著者名/発表者名: K. Watanabe, S. Ikeda
  • 学会等名: IEEE International Symposium on Information Theory
  • 発表場所: Istanbul, Turkey
• [学会発表] NIRS-DOT のための変分ベイズによる逆問題解法
  • 著者名/発表者名: 宮本敦史，渡辺一帆，池田和司，佐藤雅昭
  • 学会等名: 第５５回システム制御情報学会研究発表講演会
  • 発表場所: 大阪大学
• [学会発表] ブレグマン情報量を用いたベイズ学習の局所変分近似
  • 著者名/発表者名: 渡辺一帆，岡田真人，池田和司
  • 学会等名: 電子情報通信学会ニューロコンピューティング研究会
  • 発表場所: 神戸大学
• [学会発表] 付加的計測を用いたネットワークトモグラフィ
  • 著者名/発表者名: 宮本敦史, 渡辺一帆, 池田和司
  • 学会等名: 電子情報通信学会ソサイエティ大会
  • 発表場所: 北海道大学
• [学会発表] アクティブ計測とパッシブ計測を用いたネットワークトモグラフィ
  • 著者名/発表者名: 宮本敦史, 渡辺一帆, 池田和司
  • 学会等名: 電子情報通信学会情報論的学習理論と機械学習研究会
  • 発表場所: 奈良女子大学
• [学会発表] 混合分布のノンパラメトリック推定と最小ダイバージェンス法
  • 著者名/発表者名: 渡辺一帆，池田思朗
  • 学会等名: 電子情報通信学会情報論的学習理論と機械学習研究会
  • 発表場所: 奈良女子大学
• [学会発表] アクティブ計測とパッシブ計測を用いたパケットロス率推定法
  • 著者名/発表者名: 宮本敦史, 渡辺一帆, 池田和司
  • 学会等名: 電子情報通信学会情報論的学習理論と機械学習研究会
  • 発表場所: 統計数理研究所
• [備考] 代表者のホームページ
  • URL: http://www.lisl.cs.tut.ac.jp/wkazuho/index.html
• [備考] 研究代表者のホームページ
  • URL: http://hawaii.naist.jp/~wkazuho/index-j.html
• [備考]
  • URL: http://hawaii.naist.jp/~wkazuho/list-e.html