深層ニューラルネットワークを用いた高精度で効率的な確率推論法の開発と応用
| Project/Area Number |
22KJ0679
|
|---|
| Project/Area Number (Other) |
21J22342 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷口 尚平 東京大学, 工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 深層ボルツマンマシン / 確率的最適化 / 償却ランジュバン動力学法 / 不偏推定 / マルコフ連鎖モンテカルロ法 / 深層生成モデル |
|---|
| Outline of Research at the Start |
深層学習に代表されるような大規模で複雑な統計モデルの応用を進めるためには、統計モデルに含まれる大量のパラメータを効率よく推論するための技術が不可欠である。本研究では特に、深層ニューラルネットワークを活用した償却推論と呼ばれる技術を用いて、潜在変数モデルや強化学習における統計モデルの推論を効率よく行うための手法の開発を行う。この研究は、深層学習のような大規模なモデルを実世界応用にスケールさせるための重要な基礎技術となることが期待される。
|
| Outline of Annual Research Achievements |
令和5年7月に深層ボルツマンマシンの不偏勾配推定に関する研究を機械学習系の国際会議であるInternational Conference on Machine Learning (ICML2023) にて発表し，論文が会議録として出版された．また，同内容を第37回人工知能学会全国大会においても発表した．その後は，深層生成モデルを含む深層学習モデル一般の学習において用いられる確率的最適化アルゴリズムに関する研究を行った．具体的には，深層学習において最も広く用いられる最適化アルゴリズムの1つであるadoptive moment estimation (Adam) を取り上げ，その収束性について解析を行った．Adamは先行研究において，収束に失敗する事例が存在することが知られていたが，そのような事例が起こりうる原因について，理論解析を通じて明らかにし，その原因を取り除くことのできる新しい最適化アルゴリズムとして，adaptive gradient method with optimal rate (ADOPT) を提案した．この成果をまとめた論文は，深層学習分野の国際会議であるInternational Conference on Learning Representation (ICLR2024) のワークショップとして開催されるWorkshop on Bridging the Gap Between Practice and Theory (BGBP) に再録され，令和6年5月に発表を行う予定である．
|
Report
(3 results)
Research Products
(4 results)
