2018 Fiscal Year Research-status Report
機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 准教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 特異点解消 / 汎化誤差 / log canonical threshold |
|---|
| Outline of Annual Research Achievements |
データのみから汎化誤差を推定するためのモデル選択法である，''Widely applicable information criterion'' は，Akaike information criterion (AIC)を一般化したもので，階層型モデルのような特異学習モデルにも適用可能である．今年度は，学習理論におけるカルバック情報量を特異点解消することにより，WAIC法の重要な役割を果たす学習係数について研究を行った．数学的には学習係数はカルバック情報量のlog canonical threshold で与えられる．これを求めるために，イデアルによるブローアップの一つである，変数の有理乗根を用いたrational blow up法を考案し，それを，統計解析で比較的良く使用される混合正規分布，三層ニューラルネットワーク，混合二項分布のベイズ推測に関する学習効率を与えるVandermonde matrix singularities型特異点について適用した．モデルサイズを表す3つのパラメータのうち，一つのパラメータがある程度小さければ，理論値が求まることを示した．これは現在，「Learning Coefficient of Vandermonde Matrix Type Singularities in Model Selection Methods」 と題して論文をまとめ，投稿中であり，査読結果待ちの状態である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今まで，一般のパラメータではバウンドしか得られていなかった，求めたいVandermonde matrix singularities型特異点のlog canonical threshold，すなわち学習係数が，一部のモデルではあるが得ることができ，おおむね順調であるといえる．この結果を得るために用いたrational blow up法は，一般の場合にも適用でき，学習係数を求めるための手順の簡略化に寄与している．次のステップにつながる結果が得られたと思われる．
|
| Strategy for Future Research Activity |
まずは，rational blow up法の改良などを行い，Vandermonde Matrix Type Singularitiesの学習係数を一般に求めたい．その後，いろいろな学習システムモデルの学習係数と特異揺らぎについて研究し，データの統計的解析の基礎を築きたい．また，この理論値が得られれば，それを用いて，最適なモデル選択法への応用，効率のよい機械学習の構成法について考察したい．
|
| Causes of Carryover |
都合がつかず，今年度は，学会発表，打ち合わせ等が，計画通りに進まない面があった．来年度以降は，学会発表，打ち合わせ等をさらに積極的に行う予定である．名古屋のウインクあいちにて開催されるAsian Conference on Machine Learning(ACML2019)や日本数学会，電子情報通信学会 情報論的学習理論と機械学習などの会議にて発表したい．
|
