2023 Fiscal Year Annual Research Report
深層ニューラルネットワークを用いた高精度で効率的な確率推論法の開発と応用
| Project/Area Number |
22KJ0679
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷口 尚平 東京大学, 工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 深層ボルツマンマシン / 確率的最適化 |
|---|
| Outline of Annual Research Achievements |
令和5年7月に深層ボルツマンマシンの不偏勾配推定に関する研究を機械学習系の国際会議であるInternational Conference on Machine Learning (ICML2023) にて発表し，論文が会議録として出版された．また，同内容を第37回人工知能学会全国大会においても発表した．その後は，深層生成モデルを含む深層学習モデル一般の学習において用いられる確率的最適化アルゴリズムに関する研究を行った．具体的には，深層学習において最も広く用いられる最適化アルゴリズムの1つであるadoptive moment estimation (Adam) を取り上げ，その収束性について解析を行った．Adamは先行研究において，収束に失敗する事例が存在することが知られていたが，そのような事例が起こりうる原因について，理論解析を通じて明らかにし，その原因を取り除くことのできる新しい最適化アルゴリズムとして，adaptive gradient method with optimal rate (ADOPT) を提案した．この成果をまとめた論文は，深層学習分野の国際会議であるInternational Conference on Learning Representation (ICLR2024) のワークショップとして開催されるWorkshop on Bridging the Gap Between Practice and Theory (BGBP) に再録され，令和6年5月に発表を行う予定である．
|
Research Products
(2 results)
