| Project/Area Number |
20K11667
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60010:Theory of informatics-related
|
|---|
| Research Institution | Yamagata University |
|---|
Principal Investigator |
福田 素久 山形大学, 理学部, 教授 (70771161)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ランダム行列 / 自由確率 / テンソルネットワーク / Weingarten 関数 / 機械学習 / 量子情報 / BBB / 深層学習 |
|---|
| Outline of Research at the Start |
深層学習とはDNN（深層ニューラルネットワーク）に複雑なタスクを処理するように学習させることである。ここで学習とはDNNの計算のうち線形変換（最も基本的なモデルでは行列の掛け算）を逐次改善することで行われる。初期設定はランダムに行われるため、ランダム行列の理論を用いて、学習の初期段階についての理論解明を目指す。また、理論物理で使われるTN（テンソルネットワーク）を深層学習に用いる研究も行う。このモデルは量子情報処理と親和性があるため、研究代表者が今まで行ってきた量子情報の研究と結びつける。また、TNの深層学習の応用研究も化学者などと共同して行い、その学習過程の理論解明も目指す。
|
| Outline of Annual Research Achievements |
まず、ランダムテンソルネットワークの平均を計算するプログラム（PyRTNI2）をGitHubに公開し（言語はPythonでライセンスはApache-2.0）、関連論文をarxivに載せた。既存のテンソルネットワークの計算プログラムは具体的なテンソルを用いるが、本プログラムは形式的な計算を行う。尤も、その計算結果は、良く知られた既存のプログラムTensorNetworkに渡すことができ、PyRTNI2での形式的な計算後に具体的なテンソルを割り当てて計算を続けることもできる。先行研究であるRTNIはランダム性がユニタリ行列によって与えらえれる場合のみを扱うが、PyRTNI2は加えて、ランダムな直交行列、複素・実ガウステンソルが混在していても計算できる。また、平均の計算で使用するWeingarten関数は、ユニタリ行列・直交行列の数と比して次元が高い場合が良く知られているが、そのままでは発散してしまう低次元の場合でも計算できる。テンソルネットワークは物理だけにとどまらず機械学習にも応用される数学的概念であり、これらの分野での今後の発展に寄与する可能性がある。次に、自由確率のモーメント・キュムラント変換の手法を用いて、特殊な条件下のメアンダーシステムの生成多項式を研究した論文がAnnales de l’Institut Henri Poincare Dより出版された。メアンダーシステムは高分子の折り曲げ構造やTemperley-Lieb代数と関連している。さらに、量子情報の視点からランダム行列の生成モデルも提示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
２０２３年度から出張を伴う共同研究を本格的に再開したものの、世界的研究動向の動きもあり、当初予定した計画より遅れを取っている。
|
| Strategy for Future Research Activity |
従来の機械学習とは異なる深層学習に特有のニューラルネットワークの汎化現象の解明を、をランダム行列・自由確率の視点から進める。また、機械学習の行列補完問題と確率集中不等式・測度集中の関係を再考する。
|
