2007 Fiscal Year Annual Research Report
理論統計学と機械学習理論の統合による新しいモデル選択規準の開発
| Project/Area Number |
05J10018
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
小林 景 The Institute of Statistical Mathematics, 数理・推論研究系, 特別研究員(PD)
|
|---|
| Keywords | カーネルマシン / 情報量規準 / モデル選択規準 / ベイズ予測 / ランダム行列理論 |
|---|
| Research Abstract |
線形回帰予測問題において,Kullback-Leiblerダイバージェンスを用いて,一様事前分布によるベイズ予測を優越し,ミニマクスとなる縮小事前分布を提案した論文を修正投稿し,採用された.また,本論文で提案されたスタイン型の縮小事前分布は,高次元であるほどリスクが大きく改善されることを実験的に確かめた.これにより,本手法がカーネルマシン等の高次元ヒルベルト空間の統計モデルに適用される可能性が高いことがわかった.一方,4月には1昨年から続くカリフォルニア大学バークレー校での海外長期研究期間の最終月として,これまで,バークレーでの講義,セミナー,共同研究等で得た知識をまとめた.特にここで得た大規模ランダム行列の知識および,統計数理研究所で数理物理学の研究者らとのセミナーで得た結果をもとに,カーネルグラム行列の主要な近似手法であるNystrom近似の計算量と近似精度の最適化手法を提案した.また,PAC学習や経験過程の手法を用いて,その手法における近似の一致性を示した.本研究者らが提案したカーネル正則化情報量規準(KRIC)は,サポートベクターマシンやカーネルロジスッテイク回帰などのカーネルマシンのカーネルや正則化パラメータの設定に用いることができるが,今回提案したNystrom近似の改良を用い得れば,KRICを効率よく計算することもでき,カーネルマシンのモデル選択における大規模行列計算の問題を解決する.本研究の内容は,9月の統計学会連合大会において発表された.
|
