教師付き学習におけるモデル選択に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14780262
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 杉山 将 東京工業大学, 大学院・情報理工学研究科, 助教授 (90334515)
• Keywords: 教師付き学習 / 汎化能力 / モデル選択 / subspace information criterion (SIC) / 最小二乗学習 / 正則化学習 / 再生核ヒルベルト空間 / カーネル法

Research Abstract

本研究課題の目的は,教師付き学習によって高い汎化能力を得るためのモデル選択法を開発することである.
この研究課題に先だって,当研究代表者はモデル選択規準Subspace Information Criterion (SIC)を提案した.SICは,有限の訓練サンプルに対して汎化誤差の不偏推定量となることが理論的に保証されるため,少ない訓練サンプルからでも有効にモデル選択を行なうことができる.しかし,これまでSICは最小二乗学習の部分空間モデルの選択にしか適用できなかった.本研究課題では,このSICの適用範囲を拡大する.
本年度の研究実施計画は,SICを正則化学習にも適用できるように拡張することであった.正則化学習は,最小二乗学習で部分空間モデルを選択する場合と異なり,正則化パラメータという実数値パラメータによって連続的にモデルの複雑さを制御することのできる学習法であり,広く用いられている.本年度はこの実施計画に基づいて,正則化学習に適用できるようにSICを拡張し,その理論的な性質を詳細に調べた.そして,拡張したSICをDELVEと呼ばれる実問題のデータセットに適用し,SICが有効に働くことを実験的に確認した.
更に上記の研究と併行して,来年度以降にノンパラメトリック学習法にもSICを適用できるように拡張するために,モデル選択の理論的基盤を整備することも本年度の計画であった.この計画に従い,関数解析的な立場から学習問題を厳密に定式化した.この研究の過程で,汎化誤差と学習に用いる再生核ヒルベルト空間の再生核の形に存在する,ある種の依存性がモデル選択において重要な働きをしていることが明らかになった.
来年度以降,この枠組みのもとでノンパラメトリック学習法にも適用できるようにSICを拡張して行く予定である.

Research Products

• [Publications] Sugiyama, M., Mueller, K.-R.: "The subspace information criterion for infinite dimensional hypothesis spaces"Journal of Machine Learning Research. 3(Nov). 323-359 (2002)
• [Publications] Sugiyama, M., Ogawa, H.: "A unified method for optimizing linear image restoration filters"Signal Processing. 82・11. 1773-1787 (2002)
• [Publications] 杉山 将: "サポートベクター回帰のモデル選択"情報技術レターズ. 1. 115-116 (2002)
• [Publications] Sugiyama, M., Mueller, K.-R.: "Selecting ridge parameters in infinite dimensional hypothesis spaces"Artificial Neural Networks. 2415. 528-534 (2002)
• [Publications] Sugiyama, M., Kawanabe, M., Mueller, K.-R.: "Regularization approach to improving an unbiased generalization error estimator"電子情報通信学会技術研究報告. NC2002. (2002)
• [Publications] 杉山 将, 小川 英光: "汎化誤差推定量Subspace Information Criterionの分散について"日本神経回路学会 第12回全国大会講演論文集. 105-108 (2002)