2021 Fiscal Year Research-status Report
機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 機械学習 / 特異モデル / log canonical threshold |
|---|
| Outline of Annual Research Achievements |
階層構造・内部構造をもつ，ニューラルネットワーク，混合正規分布や縮小ランクなどは，特異モデルと呼ばれ，フィシャー情報量が退化するなどの性質をもつ．このため，古典的統計正則モデルの理論は適用できない．学習理論における特異モデルの解析には，近年，代数幾何分野における特異点解消を用いた研究が行われている．代数幾何学分野のlog canonical threshold との関連性が明らかになり，特に，汎化誤差や自由エネルギーの挙動などの解析には著しい発展が得られている．今年度は，データの知識発見に利用されている重要なモデルである深層線形ニューラルネットワークの学習係数について考察した．線形ニューラルネットワークは，縮小ランクモデルとも呼ばれ，入出力の情報から本質的な情報を取り出す方法として利用されている．三層の場合には，「Stochastic Complexities of Reduced Rank Regression in Bayesian Estimation」(Neural Networks, Sumio Watanabeと共著)において，すでに得られているが，その結果を更により一般の場合の深層へと拡張し，真の分布のランクが0の場合のときを考察した．帰納的特異点解消手法を用いることにより，学習係数の理論値を導出した．この結果は，「深層線形ニューラルネットワークの学習係数について」(IBISML2021-45(2022-03)，伊藤龍二，芦沢成海，塚本雄基 梶大介と共著)で発表した．今後は真の分布のランクが正の値のときを考察しなければならない．また，活性化関数がReLUの場合についての関連性を考察していきたい．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，深層線形ニューラルネックの場合を考察した．深層型に対応する帰納的特異点解消手法は，まだ解明されていない，Vandermonde matrix singularities型特異点のlog canonical thresholdの理論値の研究にも関連性があり，適用できる可能性がある．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる結果であると思われる．
|
| Strategy for Future Research Activity |
今年度は，深層ニューラルネットワークの場合の学習係数，すなわちlog canonical threshold について，真の分布のランクが0の場合のときを考察した．今後は，ランクが正の任意の値の時も考察したい．また，近年ニューラルネットワークにおいて急速に普及している，活性化関数がReLUの場合についての関連性も考察していきたい．ReLUは学習収束スピードなどの点で，従来のシグモイド関数よりも優れた点があることが知られている．また，去年考察した混合正規分布の場合についても考察したい．学習モデルのパラメータが真の分布のパラメータの近傍である仮定がない場合でも，学習係数導出のための解析関数の存在を明らかにし，また，評価を厳密化することによって学習係数の上界だけではなく理論値も求めたい．これらの手法を適用し，Vandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，得られた学習係数の理論値を用いて応用についても考察する．これらの理論値は，真の分布の推定などの解析には，大変重要な値である．理論値が分かっていれば，確率モデルの評価や事後分布を数値的に実現したときに，その実現アルゴリズムが事後分布をどの程度近似しているかなどの，数値計算の正しさを確認する手段ともなる．さらに，学習係数だけでなく，特異揺らぎについても考察する．
|
| Causes of Carryover |
新型コロナウィルスの影響で海外での学術発表の機会などがなかったため，次年度使用額が生じた．今年度の結果をまとめ，海外で開かれる国際会議に積極的に参加し発表の機会をもち，研究を深める予定である．近年急速に利用されているZoomなどを利用したオンラインの国際会議にも参加したい．日本数学会，電子情報通信学会，情報論的学習理論と機械学習などの会議にて発表したいと考えている．また，セミナーなどにも参加し，研究討論などを積極的に行う．
|
Research Products
(2 results)
