2022 Fiscal Year Annual Research Report
深層ニューラルネットワークを用いた高精度で効率的な確率推論法の開発と応用
| Project/Area Number |
21J22342
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷口 尚平 東京大学, 工学系研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 償却ランジュバン動力学法 / 深層ボルツマンマシン / 不偏推定 |
|---|
| Outline of Annual Research Achievements |
連続型の深層潜在変数モデルに対する確率的推論を効率的かつ精緻に行うための手法として提案した償却ランジュバン動力学法 （ａｍｏｒｔｉｚｅｄ Ｌａｎｇｅｖｉｎ ｄｙｎａｍｉｃｓ） についての理論解析及び数値実験を実施し，その結果をまとめた論文が，機械学習分野の国際会議であるＮｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ （ＮｅｕｒＩＰＳ ２０２２） に採択され，昨年１２月にアメリカ・ニューオーリンズで行れた会議においてポスター発表を行った．また，離散型の深層潜在変数モデルの一種である深層ボルツマンマシンに対する確率的推論手法として，新たにｕｎｂｉａｓｅｄ ｃｏｎｔｒａｓｔｉｖｅ ｄｉｖｅｒｇｅｎｃｅ ｗｉｔｈ ｌｏｃａｌ ｍｏｄｅ ｉｎｉｔｉａｌｉｚａｔｉｏｎ （ＵＣＤ－ＬＭＩ） を提案し，その有効性を示す数値実験を行った．ＵＣＤ－ＬＭＩは，深層ボルツマンマシンの勾配の不偏推定を高次元な場合にもスケーラブルに行うことを可能にしており，これまで難しかった深層ボルツマンマシンの一気通貫型の学習に成功した．こちらの成果については，機械学習分野の国際会議であるＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ （ＩＣＭＬ ２０２３） に投稿し，採録されることが決定した．２０２３年７月にハワイで開催されるＩＣＭＬ ２０２３の会議において，ポスター発表を実施する予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題の主題である償却ランジュバン動力学法の開発・解析が2022年度までで完了し，国際会議への論文の投稿・採録・発表を行ったで，一定の成果を上げることができた．当初の計画では，次のステップとして，償却ランジュバン動力学法を強化学習に適用することを検討していたが，昨今の深層生成モデルの研究の急速な進展を鑑みて，生成モデルにおけるより汎用的な手法の開発に方針を変更し，特に離散型の深層生成モデルの１種である深層ボルツマンマシンの確率的推論の手法の開発を行った．こちらについても，2022年度中に手法の開発および数値実験を完了し，国際会議への投稿・採録まで終えることができた．よって，研究計画の方向性の修正は行ったものの，研究課題の実施という観点では，おおむね順調に進展していると考えており，2023年度に進める研究についても，明確な目標が立っている状況であると認識している．
|
| Strategy for Future Research Activity |
本研究課題では，深層潜在変数モデルの確率的推論を精緻かつ効率的な形で行うための手法を開発することで，深層潜在変数モデルの学習を安定化させ，より高性能なモデルを構築することを目的としている．2022年度までの成果により，連続型・離散型の両方の深層潜在変数モデルについて，効率的な確率的推論方法を提案・確立することができたが，これを実際の学習に用いるためには，確率推論を通して得られたモデルの勾配の推定量を用いて，モデルのパラメータを更新する際の方法論が重要となる．この方法論としては，確率的勾配降下法やAdamなどの代表される適応的確率的勾配降下法が知られているが，特に適応的な手法については，収束の理論的な保証が難しく，理論と実践の間に乖離があることが知られている．このような適応的確率的勾配降下法に関する理論解析や，それを改善した新たなパラメータ更新の手法を開発することは，2022年度までに開発した確率的推論手法をモデルの学習に適用する上で，非常に重要である．そこで，2023年度では，適応的な確率的勾配降下法の理論解析及び，その手法の改良を行い，確率的推論手法と合わせて，より高性能な深層潜在変数モデルの実現に向けた研究を進めていく．
|
