2023 Fiscal Year Research-status Report
機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2025-03-31
|
| Keywords | 特異学習モデル / 階層モデル / 学習係数 |
|---|
| Outline of Annual Research Achievements |
近年，特異モデルのベイズ学習について，汎化誤差や経験誤差，自由エネルギーなどの漸近挙動を，学習係数やその位数，特異揺らぎを用いて解析できることが証明された．しかし，それらの理論値についてはまだ不明なものが多い．そこで，本研究では，これらの理論値を解明し，代数幾何学を基盤とした特異モデルの機械学習理論の基礎を築くことに取り組んだ．学習係数は，代数幾何の分野では，log canonical threshold として定義される．ゼータ関数の最大の極とも関連する．代数幾何・代数解析では主に代数閉体上でのlog canonical threshold の研究が行われている．また，低次元での研究が主である. 一方，学習理論における学習係数は，実数体上のlog canonical threshold なので，複素体上の定理をそのまま学習係数に適用することができない．したがって，学習係数を求めることは，数学的観点からも興味のある問題である．今年度は，学習モデルが多層の場合について考察し，これらの結果は，5月に行われたEntropy-eCon2023 (Edition1), virtual conferenceにて「Learning coefficients and normal crossing divisors in algebraic geometry」と題して招待講演を行った．また，8月にはカナダ，トロントにて行われたAlgebraic and geometric methods in inference in 2023 Joint Statistical Meetingsにて「Leaning coefficients for hierarchical learning models in Bayesian estimation」と題して招待講演を行い，8月には，イギリス，オックスフォードで行われたConference on Singular Learning Theoryにて，「Singular leaning theory and algebraic geometry」と題して招待講演を行う機会をいただいた．令和6年1月にはNeural Networksに「Consideration on the learning efficiency of multiple-layered neural networks with linear units」と題した論文が掲載された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，多重線形ニューラルネックのlog canonical threshold を考察し，その結果を国際学会にて発表し，論文投稿を行った．多層の場合については，初めての結果であったため，反響をいただいた．理論値は，学習曲線の特徴を表しており，解析や応用に重要な指標である．実際，この結果を参照した論文も発表され，数値計算の精度を保証するために利用されている．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる．
|
| Strategy for Future Research Activity |
今年度得られた，多層の場合の線形ニューラルネットワークの場合について，まずはさらに考察をすすめたい．線形ニューラルネットワークは，縮小ランクモデルとも呼ばれ，入出力の情報から本質的な情報を取り出す方法として利用されている．モデルが複雑になれば，汎化誤差が増大すると思われていたが，理論的に層が厚くなった場合，汎化誤差が減少することが，学習係数の理論値により明確に示された．これは，階層型の学習モデルが優れている理由の一つであり，Double decentを理論的に証明することが可能になっている．今後は，活性化関数がReLU の場合やシグモイド関数など一般的な関数である場合について考察を深めたい．特に，ReLU は，線形性を持っているが，微分可能でないため，それが学習係数にどのように影響を及ぼすかはまだ全く知られていない．
|
| Causes of Carryover |
今年度は国際学会に参加する機会も多かったが，学会主催者に旅費などの費用を負担いただいたこともあり，研究費に残額が生じた．これらは次年度の学会参加費などに使用する計画である．
|
