密度比の推定と計算の理論的展開とその応用

• 研究課題/領域番号: 24500340
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 統計科学
• 研究機関: 名古屋大学
• 研究代表者: 金森 敬文 名古屋大学, 情報科学研究科, 教授 (60334546)
• 研究期間 (年度): 2012-04-01 – 2016-03-31
• 研究課題ステータス: 完了 (2015年度)
• 配分額: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円); 2014年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円); 2013年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2012年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 数理統計学 / 機械学習 / 統計学 / 統計的学習理論 / ロバスト統計

研究成果の概要

密度比とは，確率密度関数の比として定義される関数である．２つのデータドメインの間のマッチングを行う場合などに有用である．重要な応用例としては，共変量シフトの下での回帰分析や判別分析，統計的仮説検定，次元削減などが挙げられる．本研究課題では，高次元大規模データ解析への応用を念頭に置き，密度比の統計的な推定精度を向上させるための方法について研究を進めた．さらに，確率分布間の距離を表すダイバージェンスとの関連について研究を進めた．多くの推定アルゴリズムはダイバージェンスを用いて記述することができる．その統計的な有用性について，とくに回帰分析とロバスト統計の視点から，密度比との関連を考察した．

研究成果

• [雑誌論文] Robust Estimation under Heavy Contamination using Unnormalized Models (2015)
  • 著者名/発表者名: Takafumi Kanamori, Hironori Fujisawa
  • 雑誌名: Biometrika 巻: 102 ページ: 559-572
  • NAID: 110009971452
  • 査読あり / 謝辞記載あり
• [雑誌論文] Extended Robust Support Vector Machine Based on Financial Risk Minimization (2014)
  • 著者名/発表者名: A. Takeda, S. Fujiwara, T. Kanamori
  • 雑誌名: Neural Computation 巻: 26 号: 11 ページ: 2541-2569
  • DOI: 10.1162/neco_a_00647
  • 査読あり / オープンアクセス
• [雑誌論文] Affine Invariant Divergences associated with Proper Composite Scoring Rules and their Applications (2014)
  • 著者名/発表者名: T. Kanamori and H. Fujisawa,
  • 雑誌名: Bernoulli 巻: 20 ページ: 2278-2304
  • 査読あり / オープンアクセス
• [雑誌論文] Numerical Study of Learning Algorithms on Stiefel Manifold (2014)
  • 著者名/発表者名: Takafumi Kanamori, Akiko Takeda
  • 雑誌名: Computational Management Science 巻: 11 号: 4 ページ: 319-340
  • DOI: 10.1007/s10287-013-0181-7
  • 査読あり / オープンアクセス
• [雑誌論文] Constrained Least-Squares Density-Difference Estimation (2014)
  • 著者名/発表者名: T. D. Nguyen, M. C. du Plessis, T. Kanamori, M. Sugiyama
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E97-D ページ: 1822-1829
  • NAID: 130004519278
  • 査読あり / オープンアクセス
• [雑誌論文] Statistical Analysis of Distance Estimators with Density Differences and Density Ratios (2014)
  • 著者名/発表者名: T. Kanamori and M. Sugiyama
  • 雑誌名: Entropy 巻: 16 号: 2 ページ: 921-942
  • DOI: 10.3390/e16020921
  • 査読あり
• [雑誌論文] A Bregman Extension of quasi-Newton updates II: Analysis of Robustness Properties (2013)
  • 著者名/発表者名: Takafumi Kanamori and Atsumi Ohara
  • 雑誌名: Journal of Computational and Applied Mathematics 巻: 253 ページ: 104-122
  • DOI: 10.1016/j.cam.2013.04.005
  • 査読あり
• [雑誌論文] Density-difference estimation (2013)
  • 著者名/発表者名: M. Sugiyama, T. Suzuki, T. Kanamori, M. C. du Plessis, S. Liu, and I. Takeuchi
  • 雑誌名: Neural Computation 巻: 25 号: 10 ページ: 2734-2775
  • DOI: 10.1162/neco_a_00492
  • NAID: 110009588474
  • 査読あり
• [雑誌論文] Conjugate Relation between Loss Functions and Uncertainty Sets in Classification Problems (2013)
  • 著者名/発表者名: T. Kanamori, A. Takeda, T. Suzuki
  • 雑誌名: Journal of Machine Learning Research 巻: 14 ページ: 1461-1504
  • 査読あり
• [雑誌論文] Direct Divergence Approximation between Probability Distributions and its Applications in Machine Learning. (2013)
  • 著者名/発表者名: Sugiyama, M., Liu, S., du Plessis, M. C., Yamanaka, M., Yamad a, M., Suzuki, T., & Kanamori, T.
  • 雑誌名: Journal of Computing Science and Engineering 巻: Vol.7no.2 号: 2 ページ: 99-111
  • DOI: 10.5626/jcse.2013.7.2.99
  • 査読あり
• [雑誌論文] Relative Density-Ratio Estimation for Robust Distribution Comparison (2013)
  • 著者名/発表者名: Makoto Yamada, Taiji Suzuki, Takafumi Kanamori, Hirotaka Hachiya, and Masashi Sugiyama
  • 雑誌名: Neural Computation 巻: 25 号: 5 ページ: 1324-1370
  • DOI: 10.1162/neco_a_00442
  • NAID: 10031099905
  • 査読あり
• [雑誌論文] Semi-Supervised Learning with Density-Ratio Estimation (2013)
  • 著者名/発表者名: M. Kawakita, T. Kanamori
  • 雑誌名: Machine Learning 巻: 91 号: 2 ページ: 189-209
  • DOI: 10.1007/s10994-013-5329-8
  • 査読あり
• [雑誌論文] Statistical Models and Learning Algorithms for Ordinal Regression Problems (2013)
  • 著者名/発表者名: T. Kanamori
  • 雑誌名: Information Fusion 巻: 14 号: 2 ページ: 199-207
  • DOI: 10.1016/j.inffus.2012.05.006
  • 査読あり
• [雑誌論文] Improving LogitBoost with Prior Knowledge (2013)
  • 著者名/発表者名: T. Kanamori, T. Takenouchi
  • 雑誌名: Information Fusion 巻: 14 号: 2 ページ: 208-219
  • DOI: 10.1016/j.inffus.2011.11.004
  • 査読あり
• [雑誌論文] A Unified Classification Model Based on Robust Optimization (2013)
  • 著者名/発表者名: Akiko Takeda, Hiroyuki Mitsugi, and Takafumi Kanamori
  • 雑誌名: Neural Computation 巻: 25 号: 3 ページ: 759-804
  • DOI: 10.1162/neco_a_00412
  • 査読あり
• [雑誌論文] Computational complexity of kernel-based density-ratio estimation: A condition number analysis (2013)
  • 著者名/発表者名: Takafumi Kanamori, Taiji Suzuki, and Masashi Sugiyama
  • 雑誌名: Machine Learning 巻: 90 号: 3 ページ: 431-460
  • DOI: 10.1007/s10994-012-5323-6
  • 査読あり
• [雑誌論文] A Bregman Extension of quasi-Newton updates I: An Information Geometrical framework (2013)
  • 著者名/発表者名: Takafumi Kanamori and Atsumi Ohara
  • 雑誌名: Optimization Methods and Software 巻: 28 号: 1 ページ: 96-123
  • DOI: 10.1080/10556788.2011.613073
  • 査読あり
• [雑誌論文] Density ratio matching under the Bregman divergence: A unified framework of density ratio estimation (2011)
  • 著者名/発表者名: Masashi Sugiyama, Taiji Suzuki, and Takafumi Kanamori
  • 雑誌名: Annals of the Institute of Statistical Mathematics 巻: 11 号: 5 ページ: 1-36
  • DOI: 10.1007/s10463-011-0343-8
  • NAID: 40019382740
  • 査読あり
• [学会発表] Robust regression using unnormalized model under heterogeneous contamination (2015)
  • 著者名/発表者名: Hironori Fujisawa, Takafumi Kanamori
  • 学会等名: International Conference of the ERCIM WG on Computational and Methodological Statistics
  • 発表場所: London, UK
  • 年月日: 2015-12-12
  • 国際学会
• [学会発表] Empirical Localization of Homogeneous Divergences on Discrete Sample Spaces (2015)
  • 著者名/発表者名: Takashi Takenouchi, Takafumi Kanamori
  • 学会等名: The Neural Information Processing Systems
  • 発表場所: Montreal, Canada
  • 年月日: 2015-12-09
  • 国際学会
• [学会発表] Robustification of Learning Algorithms using Hinge-loss (2015)
  • 著者名/発表者名: 金森 敬文，藤原 秀平， 武田朗子
  • 学会等名: 情報論的学習理論ワークショップ
  • 発表場所: 筑波
  • 年月日: 2015-11-26
• [学会発表] 同次ダイバージェンスとその応用 (2015)
  • 著者名/発表者名: 竹之内高志，金森 敬文
  • 学会等名: 情報論的学習理論ワークショップ
  • 発表場所: 筑波
  • 年月日: 2015-11-26
• [学会発表] 斉次ダイバージェンスとその応用 (2015)
  • 著者名/発表者名: 金森 敬文
  • 学会等名: RIMS共同研究「量子統計モデリングの基盤構築」
  • 発表場所: 京都
  • 年月日: 2015-11-12
• [学会発表] 非凸最適化に基づく機械学習アルゴリズムのロバストネス (2015)
  • 著者名/発表者名: 金森 敬文，藤原 秀平， 武田朗子
  • 学会等名: 日本オペレーションズ・リサーチ学会 RAMPシンポジウム
  • 発表場所: 静岡
  • 年月日: 2015-10-15
• [学会発表] 擬球スコアとその周辺 (2015)
  • 著者名/発表者名: 金森 敬文
  • 学会等名: 研究集会「大規模統計モデリングと計算統計II」
  • 発表場所: 東京
  • 年月日: 2015-09-26
• [学会発表] Robustness of Machine Learning Algorithms using Non-Convex Loss Functions (2015)
  • 著者名/発表者名: 金森 敬文，藤原 秀平， 武田朗子
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 岡山
  • 年月日: 2015-09-08
• [学会発表] Robust Estimation under Heavy Contamination using Unnormalized Models (2015)
  • 著者名/発表者名: 金森 敬文，藤澤洋徳
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 岡山
  • 年月日: 2015-09-08
• [学会発表] 準ニュートン法のブレグマン拡張と疎なヘッセ行列の更新則 (2015)
  • 著者名/発表者名: 金森 敬文
  • 学会等名: RIMS共同研究「デザイン・符号・グラフおよびその周辺」
  • 発表場所: 京都
  • 年月日: 2015-07-09
• [学会発表] Legendre Transformation in Machine Learning (2014)
  • 著者名/発表者名: T. Kanamori
  • 学会等名: Workshop: Information Geometry for Machine Learning
  • 発表場所: RIKEN, Saitama, Japan
  • 年月日: 2014-12-03 – 2014-12-05
  • 招待講演
• [学会発表] 規格化されていないモデルを用いたロバスト推定 (2014)
  • 著者名/発表者名: 金森敬文
  • 学会等名: 統計多様体の諸分野への応用
  • 発表場所: 京都大学数理解析研究所共同研究
  • 年月日: 2014-11-19 – 2014-11-21
  • 招待講演
• [学会発表] Breakdown Point of Robust Support Vector Machine (2014)
  • 著者名/発表者名: Takafumi Kanamori, Fujiwara Shuhei, Akiko Takeda
  • 学会等名: 第17回情報論的学習理論ワークショップ(IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-17 – 2014-11-19
• [学会発表] Robust Estimation under Heavy Contamination using Unnormalized Models (2014)
  • 著者名/発表者名: Takafumi Kanamori, Hironori Fujisawa,
  • 学会等名: 第17回情報論的学習理論ワークショップ(IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-17 – 2014-11-19
• [学会発表] Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle, (2014)
  • 著者名/発表者名: Kota Matsui, Wataru Kumagai, Takafumi Kanamori,
  • 学会等名: 第17回情報論的学習理論ワークショップ(IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-17 – 2014-11-19
• [学会発表] ロバストサポートベクターマシンの拡張に対する DC アルゴリズムの適用， (2014)
  • 著者名/発表者名: 藤原秀平, 武田朗子, 金森敬文，
  • 学会等名: 第17回情報論的学習理論ワークショップ(IBIS2014)
  • 発表場所: 名古屋大学
  • 年月日: 2014-11-17 – 2014-11-19
• [学会発表] Affine Invariant Divergences and their Applications, (2014)
  • 著者名/発表者名: T. Kanamori, H. Fujisawa,
  • 学会等名: The 3rd Institute of Mathematical Statistics, Asia Pacific Rim Meeting,
  • 発表場所: Taipei
  • 年月日: 2014-06-30 – 2014-07-03
• [学会発表] A comparison-based derivative free optimization algorithm and its query complexity (2014)
  • 著者名/発表者名: 松井孝太, 熊谷 亘, 金森 敬文
  • 学会等名: 東海ファシィ研究会
  • 発表場所: 愛知県知多郡南知多町日間賀島字永峰18 日間賀島公民館
• [学会発表] ヘルダー不等式とスケール不変ダイバージェンス (2014)
  • 著者名/発表者名: 金森敬文
  • 学会等名: 研究所短期共同研究，統計多様体の幾何学の新展開
  • 発表場所: 京都大学 数理解析研究所
• [学会発表] アファイン不変な統計的ダイバージェンスとその応用 (2013)
  • 著者名/発表者名: 金森敬文，藤澤洋徳
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 大阪大学
• [学会発表] Constrained Least-Squares Density-Difference Estimation (2013)
  • 著者名/発表者名: Nguyen Tuan Duong, Marthinus Christoffel du Plessis, Takafumi Kanamori, Masashi Sugiyama
  • 学会等名: 情報論的学習理論と機械学習研究会
  • 発表場所: 名古屋工業大学
• [学会発表] A Conjugate Property between Loss Functions and Uncertainty Sets in Classification Problems, (2012)
  • 著者名/発表者名: Kanamori, T., Takeda, A., Suzuki, T.
  • 学会等名: 25th International Conference on Learning Theory(COLT)
  • 発表場所: Edinburgh, Scotland
• [学会発表] A Unified Robust Classification Model (2012)
  • 著者名/発表者名: Takeda, A., Mitsugi, H., Kanamori, T.
  • 学会等名: 29th International Conference on Machine Learning(ICML)
  • 発表場所: Edinburgh, Scotland
• [学会発表] f-divergence estimation and two-sample test under semi-parametric density ratio models. (2012)
  • 著者名/発表者名: Kanamori T., Suzuki, T., Sugiyama, M.
  • 学会等名: The 2nd Institute of Mathematical Statistics, Asia Pacific Rim Meeting (IMS-APRM)
  • 発表場所: Tsukuba，Japan
• [学会発表] Robust optimization-based classification method. (2012)
  • 著者名/発表者名: Takeda A. Kanamori T., Mitsugi H.
  • 学会等名: The 21st International Symposium on Mathematical Programming(ISMP)
  • 発表場所: Berlin, Germany
• [学会発表] Density-Difference Estimation. (2012)
  • 著者名/発表者名: Sugiyama M., Kanamori T., Suzuki T., Plessis M., Liu S., Takeuchi I.
  • 学会等名: The Neural Information Processing Systems(NIPS)
  • 発表場所: Nevada, USA
• [学会発表] Non-Convex Optimization on Stiefel Manifold and Applications to Machine Learning, (2012)
  • 著者名/発表者名: Kanamori T., Takeda A.
  • 学会等名: The 19th International Conference on Neural Information Processing(ICONIP)
  • 発表場所: Doha, Qatar
• [学会発表] ２値判別における損失関数と不確実性集合の共役性， (2012)
  • 著者名/発表者名: 金森敬文, 武田朗子, 鈴木大慈
  • 学会等名: 統計関連学会連合大会
  • 発表場所: 北海道大学
• [図書] 統計的学習理論 (2015)
  • 著者名/発表者名: 金森敬文
  • 総ページ数: 189
  • 出版者: 講談社
• [図書] 統計的学習の基礎 —データマイニング・推論・予測— (2014)
  • 著者名/発表者名: Trevor Hastie 他
  • 総ページ数: 47
  • 出版者: 共立出版
• [図書] モンテカルロ法ハンドブック (2014)
  • 著者名/発表者名: 伏見正則 他
  • 総ページ数: 9
  • 出版者: 朝倉書店
• [図書] 応用数理ハンドブック， (2013)
  • 著者名/発表者名: 薩摩順吉・大石進一・杉原正顕（編）
  • 出版者: 朝倉書店