|
令和5年7月に深層ボルツマンマシンの不偏勾配推定に関する研究を機械学習系の国際会議であるInternational Conference on Machine Learning (ICML2023) にて発表し，論文が会議録として出版された．また，同内容を第37回人工知能学会全国大会においても発表した．その後は，深層生成モデルを含む深層学習モデル一般の学習において用いられる確率的最適化アルゴリズムに関する研究を行った．具体的には，深層学習において最も広く用いられる最適化アルゴリズムの1つであるadoptive moment estimation (Adam) を取り上げ，その収束性について解析を行った．Adamは先行研究において，収束に失敗する事例が存在することが知られていたが，そのような事例が起こりうる原因について，理論解析を通じて明らかにし，その原因を取り除くことのできる新しい最適化アルゴリズムとして，adaptive gradient method with optimal rate (ADOPT) を提案した．この成果をまとめた論文は，深層学習分野の国際会議であるInternational Conference on Learning Representation (ICLR2024) のワークショップとして開催されるWorkshop on Bridging the Gap Between Practice and Theory (BGBP) に再録され，令和6年5月に発表を行う予定である．
|
