カーネルヒルベルト空間を用いたセミパラメトリック法とその高次元データ解析への応用

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700241
• Research Institution: The Institute of Statistical Mathematics
• Principal Investigator: 福水 健次 統計数理研究所, 統計基礎研究系, 助教授 (60311362)
• Keywords: 統計的データ解析 / セミパラメトリック / カーネル法 / ヒルベルト空間 / 変数選択 / 次元削減

Research Abstract

本研究は、正規性などの単純な分布の仮定をおかずに高次元データを統計的に解析する手法を確立することを目的としており、そのために変数間の統計的依存性をカーネルヒルベルト空間によって抽出するという、新しいアプローチを探求している。15年度の実績として、まずカーネルヒルベルト空間上の相互共分散作用素を用いたデータ解析手法を確立し、そのアルゴリズムをソフトウエアモジュールとして作成して、さまざまな具体的なデータ解析の問題に適用した。
第一に、回帰問題の共変量の次元縮約の問題にこのアプローチを適用し、新しい次元削減/変数選択の方法を提案した(Fukumizu, Bach, and Jordan, J.Machine Learning Research 2004)。特に遺伝子選択問題のような数千の共変量を持つ回帰問題における変数選択にも有効に適用できることを示した。第二に、相互共分散作用素のアプローチを用いて変数間の非線形相関を抽出することにより、変数クラスタリングの新しい手法を提案した(Fukumizu, Science of Modeling 2003)。この手法をyeast遺伝子のクラスタリングに適用しその有効性を示した。
また、回帰問題の次元縮約法を発展させたものとして、回帰問題を説明するのに有効な特徴がいくつか混合されて観測されたデータに対して、個々の有効特徴を推定するセミパラメトリックな混合回帰モデルの推定手法を考察し、基礎的な手法の開発を行った。この課題については,手法の実データへの応用を中心に16年度も継続して研究していく予定である。
さらに、有限サンプルによる相互共分散作用素の推定方法に関する理論的考察も行った。この課題については現在研究中であり、16年度以降も継続予定である。

Research Products

• [Publications] Kenji Fukumizu: "Dimensionality Reduction for Supervised Learning with Reproducing Kernel Hilbert Spaces"Journal of Machine Learning Research. Vol.5. 73-99 (2004)
• [Publications] Kenji Fukumizu: "Kernel Dimensionality Reduction for Supervised Learning"Advances in Neural Information Processing Systems. 16(印刷中). (2004)
• [Publications] Kenji Fukumizu: "A Kernel Method for hierarchical and non-hierarchical clustering"統計数理研究所 研究教育活動報告17 Science of Modeling. 416-417 (2003)
• [Publications] 福水 健次: "特異モデルにおける統計的推測-接錐によるアプローチ-"日本神経回路学会誌. 10巻4号. 201-210 (2003)
• [Publications] 福水 健次: "カーネルヒルベルト空間を用いた回帰問題における特徴抽出"第6回情報論的学習理論ワークショップ予稿集. 241-246 (2003)
• [Publications] 福水 健次: "再生核ヒルベルト空間を用いた回帰問題における次元削減法"日本数学会2003年秋季総合分科会 統計数学分科会講演アブストラクト. 137-150 (2003)