ランダム行列・自由確率・テンソルネットワークを用いた深層学習の研究
| Project/Area Number |
20K11667
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60010:Theory of informatics-related
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
福田 素久 山形大学, 理学部, 教授 (70771161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ランダム行列 / 自由確率 / テンソルネットワーク / Weingarten 関数 / 機械学習 / 量子情報 / BBB / 深層学習 |
|---|
| Outline of Research at the Start |
深層学習とはDNN（深層ニューラルネットワーク）に複雑なタスクを処理するように学習させることである。ここで学習とはDNNの計算のうち線形変換（最も基本的なモデルでは行列の掛け算）を逐次改善することで行われる。初期設定はランダムに行われるため、ランダム行列の理論を用いて、学習の初期段階についての理論解明を目指す。また、理論物理で使われるTN（テンソルネットワーク）を深層学習に用いる研究も行う。このモデルは量子情報処理と親和性があるため、研究代表者が今まで行ってきた量子情報の研究と結びつける。また、TNの深層学習の応用研究も化学者などと共同して行い、その学習過程の理論解明も目指す。
|
| Outline of Annual Research Achievements |
引き続きランダム行列・テンソルの計算プログラムの改良を行った。Weingarten 関数を生成するプログラムを見直す過程で未解明の数学の問題を発見し、共同研究へと発展した。数学的には対称群の表現論（シューア・ワイル双対性、ゲルファント・ペアなど）と関わっている。応用の観点からは、Weingarten 関数はHaar 測度で分布したランダムなユニタリ行列・直交行列の要素からなる多項式の平均を計算する際に必要な関数であり、本研究課題では同行列がテンソルネットワークの中に埋め込まれている状況を想定している。他のライブラリ依存を下げて安定性を高める一方で、他のテンソル計算プログラムへの連携機能を補強して、広く物理研究に使用できるように改良してきた。ガウス分布するランダムテンソルも扱えるこのプログラムの公開は、ランダム行列・テンソルの平均計算と組み合わせ論による表記の関係をまとめた関連論文と共に2023年度前半中に行う。
また、機械学習分野の一つである低ランクの行列・テンソル補完の理論研究に、研究代表者の過去の研究に関連している測度集中の不等式が重要な役割を占めていることを確認し、研究対象を広げる具体的な道筋を見出した。低ランクの行列・テンソル補完は推薦システムなど応用のすそ野が広い研究である。
関連研究の自由確率のメアンダー多項式への応用についての研究を出版に向けて編集を行った。メアンダー問題は高分子の折り曲げ問題や理論物理（Temperley-Lieb代数など）と関連する。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
新型コロナウイルス感染症（COVID-19）による共同研究の遅延、及び業務の多忙により計画通りに進んでいない。
|
| Strategy for Future Research Activity |
申請時に計画した海外との共同研究を実行に移し、ランダム行列・自由確率の視点からニューラルネットワークの学習過程の研究を行う。一方で研究代表者の過去の研究とのつながりを深め、量子情報とテンソルネットワーク、行列・テンソル補完問題と測度集中が交差する領域での研究を進める。
|
Report
(3 results)
Research Products
(3 results)
