2019 Fiscal Year Research-status Report
機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 学習理論 / 特異モデル / 特異点解消 |
|---|
| Outline of Annual Research Achievements |
統計学分野の学習理論における目的は，真の分布から発生する多量のデータセットから，そのデータを発している情報源の真の分布を再生・推測することである．汎化誤差は，推定された分布と真の分布とのエントロピーに関する誤差，カルバック距離を表している．従って，与えられたデータから求められる学習誤差から，汎化誤差を推定することは重要である．今年度は，特に２つの結果をまとめた．論文「Learning coefficients and information criteria」においては，混合正規分布モデルなどのlog canonical thresholdを明らかにし，汎化誤差の挙動の主要項の理論的値を求めた．The 5th international conference on Fuzzy systems and data mining (FSDM2019)で発表し，有意義な議論が行われ，次の研究を進めるうえで非常に参考になった．
論文「Learning Coefficient of Vandermonde Matrix-Type Singularities in Model Selection」では，三層ニューラルネットワークの中間層が4個までの場合についてのモデルなどの場合に，同様にlog canonical thresholdを明らかにし，汎化誤差の挙動の主要項の理論的値を求めた．雑誌Entropyに掲載された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今まで，パラメータの次数を一般化した場合においては，多くの場合バウンドしか得られていなかったVandermonde matrix singularities型特異点のlog canonical thresholdの理論値，すなわち学習係数の理論値を，去年よりさらに多くのモデルに関して得ることができた．また，２つの論文としてまとめることもでき，おおむね研究は順調であると言える．これらは，次のステップにつながる結果であると思われる．
|
| Strategy for Future Research Activity |
得られたVandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，得られた学習係数の理論値を用いて応用についても考察する．これらの結果は，モデル選択解析，MCMC法の精度を解明することや，学習効率の精度改良法に応用することが可能であることから，これらの解析プログラムをも構築していく予定である．さらに，学習システムモデルの学習係数と特異揺らぎについて研究し，データの統計的解析の基礎を築くことを目指す．
|
| Causes of Carryover |
今年度は海外出張をせずに，国内で行われた学会に主に参加したため，使用額が少なかった．来年度からは，海外で開かれる国際会議にも積極的に参加し，研究を深める予定である．オーストラリアで開かれる2020 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCEや日本数学会，電子情報通信学会，情報論的学習理論と機械学習などの会議にて発表したいと考えている．また，セミナーなどにも参加し，研究討論などを積極的に行う．
|
