2020 Fiscal Year Research-status Report
ランダム行列・自由確率・テンソルネットワークを用いた深層学習の研究
| Project/Area Number |
20K11667
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
福田 素久 山形大学, 理学部, 准教授 (70771161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | ランダム行列 / 自由確率 |
|---|
| Outline of Annual Research Achievements |
Deep Neural Network (DNN)は古典的な機械学習モデルとは異なりパラメーター数が極めて多く、損失関数の曲面は基本的に凸構造を持たない。ある条件下では、確率勾配法によるパラメーターの最適解への線形収束の速度をPolyak-Lojasiewiczの条件と、行列であるNeural Tangent Kernel (NTK)の最小固有値が記述しているため、NTKの固有値の漸近的振る舞いに研究の焦点を当てることにした。ここで、NTKは入力と損失関数を固定したときのDNNのパラメーターに対する勾配ベクトルにより計算される。層の幅が無限大になるとき、自由確率におけるMarcenko-Pastur 分布を用いたNTKのスペクトルの記述は他の研究者によって本年度行われたが、今後は漸近幾何解析の手法などを交えて研究を発展させたい。Quantum Neural Network (QNN)の一つParameterized Quantum Circuit (PQC)においては勾配消失問題が一般的であり、このモデル（Tensor Networkとみることができる）の解明に申請者の研究手法が有用であることが分かった。
関連研究として、自由確率の手法を用いて最小出力エントロピー及び最大出力ノルムの非古典的性質を示す量子通信路をsemicircular element 及びcircular elementを用いて構成する研究を完成させた。また、自由確率の手法を特殊な場合のメアンダー多項式の生成に応用し、量子通信路を行列モデルとして構成する研究を完成させた。両結果はそれぞれ投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
DNNの勾配消失・発散問題をより本質的な最適解への収束の問題の視点から研究するために、Neural Tangent Kernelの研究に焦点を当てるべきと研究の方向性を修正したものの、新規な結果を得ていないため。
|
| Strategy for Future Research Activity |
PQCの勾配消失問題について、漸近幾何解析・自由確率の視点からの理論研究及び、電子計算機を使用した研究を行い、学習過程の理論を明らかにする。また、NTKのスペクトルを漸近幾何解析により研究する。
|
| Causes of Carryover |
covid-19の影響により、出張を取りやめたため。可能ならば国内旅費、外国旅費、及び、ミニワークショップ開催費として使用する。
|
