| 研究課題/領域番号 |
22KJ0949
|
|---|
| 補助金の研究課題番号 |
22J14402 (2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分13010:数理物理および物性基礎関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
LIU Ziyin 東京大学, 理学系研究科, 特別研究員(PD)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
1,700千円 (直接経費: 1,700千円)
2023年度: 800千円 (直接経費: 800千円)
2022年度: 900千円 (直接経費: 900千円)
|
|---|
| キーワード | deep learning / neural network / sparsity / symmetry / phase transition / Deep learning theory / Symmetry breaking / Statistical physics / Self-supervised learning / Bayesian learning / Optimization |
|---|
| 研究開始時の研究の概要 |
この研究は、深層学習における理論的な理解を深めることを目的としています。深層学習は、現代の機械学習において非常に重要な役割を果たしており、その成功は多大な理論的努力によって支えられています。本研究では、深層学習における最適化アルゴリズムの理論的側面に注目し、その理解を深めることを目指します。特に、スパース性、確率的勾配降下法、自己教示学習、深層学習の位相転移など、現在注目されている問題に対して、より洗練された理論を提供することを目指します。また、この研究は、深層学習をさらに発展させる上での基盤となり、現代の機械学習の進歩に貢献することが期待されています。
|
| 研究実績の概要 |
昨年、私は深層ニューラルネットワークにおける零次、一次、二次の相転移に関する研究で、共著者としてMasahito Ueda氏と共に「Physical Review Research」誌に論文「Zeroth, first, and second-order phase transitions in deep neural networks」を発表しました。この研究では、深層学習モデルの訓練過程における相転移の理論的側面を探求し、それがネットワークの学習能力とどのように関連しているかを明らかにしました。また、自己教師あり学習の段階的性質に関する研究で、「ICML 2023」にて「On the stepwise nature of self-supervised learning」という論文を発表しました。この研究では、自己教師あり学習が段階的に進行する本質について探求し、新たな学習パラダイムへの理解を深めました。
「ICML 2023」においては、Zihao Wang氏と共同で「Sparsity by Redundancy: Solving L1 with SGD」という研究も発表しました。ここでは、SGDを用いてL1正則化問題を解決することにより、スパース性を冗長性によって達成する方法について論じました。最後に、「ICLR 2023」で、「What shapes the loss landscape of self-supervised learning?」という論文を、Ekdeep Singh Lubana氏、Masahito Ueda氏、Hidenori Tanaka氏と共に発表しました。この研究では、自己教師あり学習の損失ランドスケープを形成する要因について深い洞察を提供し、学習過程の最適化に役立つ知見を提供しました。
|
