2023 Fiscal Year Annual Research Report
| Project/Area Number |
22KJ0949
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
LIU Ziyin 東京大学, 理学系研究科, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | deep learning / neural network / sparsity / symmetry / phase transition |
|---|
| Outline of Annual Research Achievements |
昨年、私は深層ニューラルネットワークにおける零次、一次、二次の相転移に関する研究で、共著者としてMasahito Ueda氏と共に「Physical Review Research」誌に論文「Zeroth, first, and second-order phase transitions in deep neural networks」を発表しました。この研究では、深層学習モデルの訓練過程における相転移の理論的側面を探求し、それがネットワークの学習能力とどのように関連しているかを明らかにしました。また、自己教師あり学習の段階的性質に関する研究で、「ICML 2023」にて「On the stepwise nature of self-supervised learning」という論文を発表しました。この研究では、自己教師あり学習が段階的に進行する本質について探求し、新たな学習パラダイムへの理解を深めました。
「ICML 2023」においては、Zihao Wang氏と共同で「Sparsity by Redundancy: Solving L1 with SGD」という研究も発表しました。ここでは、SGDを用いてL1正則化問題を解決することにより、スパース性を冗長性によって達成する方法について論じました。最後に、「ICLR 2023」で、「What shapes the loss landscape of self-supervised learning?」という論文を、Ekdeep Singh Lubana氏、Masahito Ueda氏、Hidenori Tanaka氏と共に発表しました。この研究では、自己教師あり学習の損失ランドスケープを形成する要因について深い洞察を提供し、学習過程の最適化に役立つ知見を提供しました。
|
