| Project/Area Number |
22KJ0949
|
|---|
| Project/Area Number (Other) |
22J14402 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 13010:Mathematical physics and fundamental theory of condensed matter physics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
LIU Ziyin 東京大学, 理学系研究科, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | deep learning / neural network / sparsity / symmetry / phase transition / Deep learning theory / Symmetry breaking / Statistical physics / Self-supervised learning / Bayesian learning / Optimization |
|---|
| Outline of Research at the Start |
この研究は、深層学習における理論的な理解を深めることを目的としています。深層学習は、現代の機械学習において非常に重要な役割を果たしており、その成功は多大な理論的努力によって支えられています。本研究では、深層学習における最適化アルゴリズムの理論的側面に注目し、その理解を深めることを目指します。特に、スパース性、確率的勾配降下法、自己教示学習、深層学習の位相転移など、現在注目されている問題に対して、より洗練された理論を提供することを目指します。また、この研究は、深層学習をさらに発展させる上での基盤となり、現代の機械学習の進歩に貢献することが期待されています。
|
| Outline of Annual Research Achievements |
昨年、私は深層ニューラルネットワークにおける零次、一次、二次の相転移に関する研究で、共著者としてMasahito Ueda氏と共に「Physical Review Research」誌に論文「Zeroth, first, and second-order phase transitions in deep neural networks」を発表しました。この研究では、深層学習モデルの訓練過程における相転移の理論的側面を探求し、それがネットワークの学習能力とどのように関連しているかを明らかにしました。また、自己教師あり学習の段階的性質に関する研究で、「ICML 2023」にて「On the stepwise nature of self-supervised learning」という論文を発表しました。この研究では、自己教師あり学習が段階的に進行する本質について探求し、新たな学習パラダイムへの理解を深めました。
「ICML 2023」においては、Zihao Wang氏と共同で「Sparsity by Redundancy: Solving L1 with SGD」という研究も発表しました。ここでは、SGDを用いてL1正則化問題を解決することにより、スパース性を冗長性によって達成する方法について論じました。最後に、「ICLR 2023」で、「What shapes the loss landscape of self-supervised learning?」という論文を、Ekdeep Singh Lubana氏、Masahito Ueda氏、Hidenori Tanaka氏と共に発表しました。この研究では、自己教師あり学習の損失ランドスケープを形成する要因について深い洞察を提供し、学習過程の最適化に役立つ知見を提供しました。
|
