深層ニューラルネットワークを用いた高精度で効率的な確率推論法の開発と応用

2021 Fiscal Year Annual Research Report

• Project/Area Number: 21J22342
• Allocation Type: Single-year Grants
• Research Institution: The University of Tokyo
• Principal Investigator: 谷口 尚平 東京大学, 工学系研究科, 特別研究員(DC1)
• Project Period (FY): 2021-04-28 – 2024-03-31
• Keywords: 償却ランジュバン動力学法 / マルコフ連鎖モンテカルロ法 / 深層生成モデル

Outline of Annual Research Achievements

深層生成モデルなどの大規模な潜在変数モデルに対して効率的に確率的推論を行うための手法として，償却ランジュバン動力学法の開発を行った．従来のマルコフ連鎖モンテカルロ法では，データごとに存在するそれぞれの潜在変数に対して，逐次的なサンプルの更新を逐一行う必要があったため，大量のデータに対して推論を回す際に，データ量に比例して計算量が増大してしまい，推論が非効率的になってしまうという課題があった．今回提案した償却ランジュバン動力学法では，各データに対して逐一サンプルの更新を行う代わりに，データを入力として潜在変数を出力する深層ニューラルネットワークを用意し，そのパラメータの更新を行うことによって，擬似的にサンプルの更新を行う方法を採用した．これにより，全データに対するサンプルの更新を逐一行う必要がなくなり，大規模なデータセットに対して効率的に推論を行うことが可能となった．さらに，この提案法について理論解析を行い，特定の条件下で提案法による推論結果が漸近的に真の事後分布に収束することを示し，その理論的正当性を確認した．現在，この成果を機械学習の国際会議であるInternational Conrefence on
Machine Learning 2022に投稿しており，現在査読待ちの状態である．今回の成果では，特に潜在変数が連続値をとる場合について扱ったが，来年度はボルツマンマシンのような潜在変数が離散値をとる場合の手法についても検討を行っていく予定である．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究課題の根幹となる償却ランジュバン動力学法の開発が概ね完了し，それに対する理論解析までを終えることができたため，当初の計画に沿った形で進展させることができている．成果についても，国際会議への投稿まで行うことができた．

Strategy for Future Research Activity

まずは，開発を行った償却ランジュバン動力学法に関する成果を国際会議にて発表を行いたいと考えている．その後は，それをさらに発展させて，ボルツマンマシンなどの離散的な潜在変数をもつモデルなどにも拡張し，より応用先を広げていくことを検討している．また，強化学習のような制御問題に対する応用についても検討し，汎用的な確率推論手法として，その有効性をさらに検証していきたい．