| 研究課題/領域番号 |
18K11479
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61040:ソフトコンピューティング関連
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
青柳 美輝 日本大学, 理工学部, 教授 (90338434)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2020年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2019年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2018年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
|---|
| キーワード | 学習理論 / 特異モデル / log canonical threshold / 正規交差関数 / 機械学習 / 特異点解消 / 汎化誤差 / 学習係数 |
|---|
| 研究実績の概要 |
ニューラルネットワークや混合正規分布などの階層型学習モデルは特異モデルと呼ばれ，フィッシャー情報量が退化するなど，従来の古典的方法では解析できないことが知られている．近年，これらの特異モデルに関して，代数幾何学分野と結びついた理論研究が行われ，ベイズ推測における汎化誤差や自由エネルギーの挙動などが明らかになってきている．特異モデルに関する自由エネルギーの主要項は，特異点解消を用いて，平均対数誤差関数の正規交差関数を求めることによって得ることができる．論文「正規交差関数の平均場近似における自由エネルギーについて」PRMU2022-127,IBISML2022-134(2023-03)では，特異点解消後の正規交差関数の場合の平均場近似について考察した．平均場近似は，ベイズ法における事後分布の近似方法として広く用いられている．一般には，平均場近似した場合の自由エネルギーは，元の自由エネルギーと異なる挙動をもつ．この論文では，正規交差関数の場合の自由エネルギーと平均場近似の自由エネルギーについて考察し，学習係数から決まる項は同じオーダーになることを証明した．
また，多重線形ニューラルネットワークの学習係数について考察した．三層の場合には，すでに得られているが，更に多層へと拡張した．この結果は，現在，国際論文誌に単著で投稿中である．多重線形ニューラルネットワークの真の分布のランクが任意である場合についても考察し，学習係数とその位数の理論値を導出した．これらの結果は，階層型の学習モデルが優れている理由の一つであると思われる．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
今年度は，平均場近似の自由エネルギーと多重線形ニューラルネックのlog canonical threshold を考察した．平均場近似は，ベイズ推測において，予測分布の計算に必要な事後分布の近似に用いられている．正規交差関数に関する自由エネルギー関数などの挙動の研究は，特異モデルの研究に深く関係している．また，多重線形ニューラルネットワークのlog canonical thresholdは，3層以上の多層において，はじめて理論的に明らかにされた結果である．したがって，おおむね研究は順調であると言える．これらは，次のステップにつながる．
|
| 今後の研究の推進方策 |
今年度は，正規交差関数の場合の平均場近似と多層線形ニューラルネットワークの場合の学習係数，すなわちlog canonical threshold について，真の分布のランクが任意の場合について考察した．今後は，活性化関数がReLUの場合について考察を深めたい．ReLUは，線形性を持っているが，微分可能でないため，それが学習係数にどのように影響を及ぼすかはまだ全く知られていない．また，今まで得られた手法を活用し，Vandermonde Matrix Type Singularitiesの学習係数の理論値をさらに一般化させるとともに，学習係数の理論値を用いた応用についても考察する．さらに，学習係数だけでなく，特異揺らぎについても考察する．これらの結果については，5月のZoom国際会議ThermoEntropy-eCon2023にて招待講演を行う．また，メキシコで開催されるComputations and Data in Algebraic Statistics"においてZoom参加での招待講演も決定している．さらに8月に開催されるカナダの国際会議 JSM 2023, セッション "Algebraic and geometric methods in inference"でも対面で招待講演を行う予定である．
|
