| 研究課題/領域番号 |
18K11479
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 特異学習モデル / 階層モデル / 学習係数 / 学習理論 / 特異モデル / log canonical threshold / 正規交差関数 / 機械学習 / 特異点解消 / 汎化誤差 |
|---|
| 研究実績の概要 |
近年，特異モデルのベイズ学習について，汎化誤差や経験誤差，自由エネルギーなどの漸近挙動を，学習係数やその位数，特異揺らぎを用いて解析できることが証明された．しかし，それらの理論値についてはまだ不明なものが多い．そこで，本研究では，これらの理論値を解明し，代数幾何学を基盤とした特異モデルの機械学習理論の基礎を築くことに取り組んだ．学習係数は，代数幾何の分野では，log canonical threshold として定義される．ゼータ関数の最大の極とも関連する．代数幾何・代数解析では主に代数閉体上でのlog canonical threshold の研究が行われている．また，低次元での研究が主である. 一方，学習理論における学習係数は，実数体上のlog canonical threshold なので，複素体上の定理をそのまま学習係数に適用することができない．したがって，学習係数を求めることは，数学的観点からも興味のある問題である．今年度は，学習モデルが多層の場合について考察し，これらの結果は，5月に行われたEntropy-eCon2023 (Edition1), virtual conferenceにて「Learning coefficients and normal crossing divisors in algebraic geometry」と題して招待講演を行った．また，8月にはカナダ，トロントにて行われたAlgebraic and geometric methods in inference in 2023 Joint Statistical Meetingsにて「Leaning coefficients for hierarchical learning models in Bayesian estimation」と題して招待講演を行い，8月には，イギリス，オックスフォードで行われたConference on Singular Learning Theoryにて，「Singular leaning theory and algebraic geometry」と題して招待講演を行う機会をいただいた．令和6年1月にはNeural Networksに「Consideration on the learning efficiency of multiple-layered neural networks with linear units」と題した論文が掲載された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度は，多重線形ニューラルネックのlog canonical threshold を考察し，その結果を国際学会にて発表し，論文投稿を行った．多層の場合については，初めての結果であったため，反響をいただいた．理論値は，学習曲線の特徴を表しており，解析や応用に重要な指標である．実際，この結果を参照した論文も発表され，数値計算の精度を保証するために利用されている．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる．
|
| 今後の研究の推進方策 |
今年度得られた，多層の場合の線形ニューラルネットワークの場合について，まずはさらに考察をすすめたい．線形ニューラルネットワークは，縮小ランクモデルとも呼ばれ，入出力の情報から本質的な情報を取り出す方法として利用されている．モデルが複雑になれば，汎化誤差が増大すると思われていたが，理論的に層が厚くなった場合，汎化誤差が減少することが，学習係数の理論値により明確に示された．これは，階層型の学習モデルが優れている理由の一つであり，Double decentを理論的に証明することが可能になっている．今後は，活性化関数がReLU の場合やシグモイド関数など一般的な関数である場合について考察を深めたい．特に，ReLU は，線形性を持っているが，微分可能でないため，それが学習係数にどのように影響を及ぼすかはまだ全く知られていない．
|
