機械学習理論における特異空間の幾何学的構造とその応用
| Project/Area Number |
18K11479
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| Project Period (FY) |
2018-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | 学習理論 / 特異モデル / log canonical threshold / 正規交差関数 / 機械学習 / 特異点解消 / 汎化誤差 / 学習係数 |
|---|
| Outline of Annual Research Achievements |
ニューラルネットワークや混合正規分布などの階層型学習モデルは特異モデルと呼ばれ，フィッシャー情報量が退化するなど，従来の古典的方法では解析できないことが知られている．近年，これらの特異モデルに関して，代数幾何学分野と結びついた理論研究が行われ，ベイズ推測における汎化誤差や自由エネルギーの挙動などが明らかになってきている．特異モデルに関する自由エネルギーの主要項は，特異点解消を用いて，平均対数誤差関数の正規交差関数を求めることによって得ることができる．論文「正規交差関数の平均場近似における自由エネルギーについて」PRMU2022-127,IBISML2022-134(2023-03)では，特異点解消後の正規交差関数の場合の平均場近似について考察した．平均場近似は，ベイズ法における事後分布の近似方法として広く用いられている．一般には，平均場近似した場合の自由エネルギーは，元の自由エネルギーと異なる挙動をもつ．この論文では，正規交差関数の場合の自由エネルギーと平均場近似の自由エネルギーについて考察し，学習係数から決まる項は同じオーダーになることを証明した．
また，多重線形ニューラルネットワークの学習係数について考察した．三層の場合には，すでに得られているが，更に多層へと拡張した．この結果は，現在，国際論文誌に単著で投稿中である．多重線形ニューラルネットワークの真の分布のランクが任意である場合についても考察し，学習係数とその位数の理論値を導出した．これらの結果は，階層型の学習モデルが優れている理由の一つであると思われる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，平均場近似の自由エネルギーと多重線形ニューラルネックのlog canonical threshold を考察した．平均場近似は，ベイズ推測において，予測分布の計算に必要な事後分布の近似に用いられている．正規交差関数に関する自由エネルギー関数などの挙動の研究は，特異モデルの研究に深く関係している．また，多重線形ニューラルネットワークのlog canonical thresholdは，3層以上の多層において，はじめて理論的に明らかにされた結果である．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる．
|
| Strategy for Future Research Activity |
今年度は，正規交差関数の場合の平均場近似と多層線形ニューラルネットワークの場合の学習係数，すなわちlog canonical threshold について，真の分布のランクが任意の場合について考察した．今後は，活性化関数がReLUの場合について考察を深めたい．ReLUは，線形性を持っているが，微分可能でないため，それが学習係数にどのように影響を及ぼすかはまだ全く知られていない．また，今まで得られた手法を活用し，Vandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，学習係数の理論値を用いた応用についても考察する．さらに，学習係数だけでなく，特異揺らぎについても考察する．これらの結果については，5月のZoom国際会議ThermoEntropy-eCon2023にて招待講演を行う．また，メキシコで開催されるComputations and Data in Algebraic Statistics"においてZoom参加での招待講演も決定している．さらに8月に開催されるカナダの国際会議 JSM 2023, セッション "Algebraic and geometric methods in inference"でも対面で招待講演を行う予定である．
|
Report
(5 results)
Research Products
(11 results)
