| 研究課題/領域番号 |
22KJ0679
|
|---|
| 補助金の研究課題番号 |
21J22342 (2021-2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2021-2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
谷口 尚平 東京大学, 工学系研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
2,200千円 (直接経費: 2,200千円)
2023年度: 700千円 (直接経費: 700千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
|
|---|
| キーワード | 深層ボルツマンマシン / 確率的最適化 / 償却ランジュバン動力学法 / 不偏推定 / マルコフ連鎖モンテカルロ法 / 深層生成モデル |
|---|
| 研究開始時の研究の概要 |
深層学習に代表されるような大規模で複雑な統計モデルの応用を進めるためには、統計モデルに含まれる大量のパラメータを効率よく推論するための技術が不可欠である。本研究では特に、深層ニューラルネットワークを活用した償却推論と呼ばれる技術を用いて、潜在変数モデルや強化学習における統計モデルの推論を効率よく行うための手法の開発を行う。この研究は、深層学習のような大規模なモデルを実世界応用にスケールさせるための重要な基礎技術となることが期待される。
|
| 研究実績の概要 |
令和5年7月に深層ボルツマンマシンの不偏勾配推定に関する研究を機械学習系の国際会議であるInternational Conference on Machine Learning (ICML2023) にて発表し，論文が会議録として出版された．また，同内容を第37回人工知能学会全国大会においても発表した．その後は，深層生成モデルを含む深層学習モデル一般の学習において用いられる確率的最適化アルゴリズムに関する研究を行った．具体的には，深層学習において最も広く用いられる最適化アルゴリズムの1つであるadoptive moment estimation (Adam) を取り上げ，その収束性について解析を行った．Adamは先行研究において，収束に失敗する事例が存在することが知られていたが，そのような事例が起こりうる原因について，理論解析を通じて明らかにし，その原因を取り除くことのできる新しい最適化アルゴリズムとして，adaptive gradient method with optimal rate (ADOPT) を提案した．この成果をまとめた論文は，深層学習分野の国際会議であるInternational Conference on Learning Representation (ICLR2024) のワークショップとして開催されるWorkshop on Bridging the Gap Between Practice and Theory (BGBP) に再録され，令和6年5月に発表を行う予定である．
|
