2020 Fiscal Year Research-status Report
Novel development in stochastic optimization using multilevel Monte Carlo methods
| Project/Area Number |
20K03744
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
合田 隆 東京大学, 大学院工学系研究科(工学部), 准教授 (50733648)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | モンテカルロ法 / マルチレベルモンテカルロ法 / 確率的最適化 / 確率的勾配降下法 / 確率的近似法 |
|---|
| Outline of Annual Research Achievements |
パラメータに依存する期待値を最小化あるいは最大化する技術として、期待値の勾配に対する不偏推定量を用いた確率的勾配降下法があるが、不偏推定量の構成自体が自明ではない問題として、対数周辺尤度と期待獲得情報量の計算を取り上げた。どちらも期待値の中に別の確率変数に関する期待値を含む形で与えられる量であり、通常の（入れ子型）モンテカルロ法では不偏推定量を構成できず、確率的勾配降下法によって探索されるパラメータ値は真の最適解に必ずしも収束しないことが問題となる。
そこで本年度の研究では、（乱択化）マルチレベルモンテカルロ法の応用によって不偏推定量を構成すること、確率的勾配降下法との組み合わせによって、正しい解に収束するようなアルゴリズムを開発することを目指した。具体的には、内側に現れる期待値の推定に対して、サンプル数を固定してモンテカルロ近似をするのではなく、サンプル数についての幾何数列を考え、各サンプル数に対して定義されるモンテカルロ推定量の適切なカップリングおよび数列からのランダムサンプリングによって、不偏推定量が構成できることを示した。さらに、構成された不偏推定量は（期待値の意味で）有限な計算コストで評価できること、有限な分散を持つことを示し、これまでに知られるバイアス補正法に対する優位性を数値的にも示した。
期待獲得情報量についてはベイズ実験計画最適化という直接的応用があり、そのような観点から論文として結果をまとめ、現在学術誌に投稿中である。また、対数周辺尤度についてはベイズ推論への応用と形で論文にまとめ、国際会議に投稿中である。
またこの他にも、より広くモンテカルロ法・確率的近似法についての研究を行い、論文発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究提案の根幹部分である「確率的最適化へのマルチレベルモンテカルロ法の応用」について主要な結果を得られたこと、すでに論文2報を執筆し、それぞれ投稿中であることから、おおむね順調に進展していると判断した。
また、必ずしも研究題目だけでは想像できないような派生的研究についても数報の論文を執筆しているだけでなく、今年度の研究成果を踏まえた更なる研究課題がいくつか明らかになっており、次年度の展開に向けた重要な知見が得られている。
|
| Strategy for Future Research Activity |
今年度扱った対数周辺尤度と期待獲得情報量の計算において、尤度が陽に評価できることを仮定していた。応用次第ではこの仮定が成り立たないことがあり、尤度の近似・推定を同時に行いながら計算を実行する必要がある。したがって、今年度より一段階難しい状況を考えることになる。引き続きマルチレベルモンテカルロ法がこのような状況に対しても有効なのか、あるいは手法そのものの拡張が必要なのか、などについて検討を行う。
|
| Causes of Carryover |
新型コロナウィルスの影響で、参加を予定していた国際会議がオンライン開催となり、旅費の支出がなかったため。次年度予算と併せることによって、より大規模な計算機実験を行うための計算環境整備を行うため。
|
