Novel development in stochastic optimization using multilevel Monte Carlo methods

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K03744
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 12040:Applied mathematics and statistics-related
• Research Institution: The University of Tokyo
• Principal Investigator: Goda Takashi 東京大学, 大学院工学系研究科(工学部), 准教授 (50733648)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: モンテカルロ法 / マルチレベルモンテカルロ法 / 確率的最適化 / 確率的勾配降下法 / 入れ子型期待値 / ベイズ実験計画法

Outline of Final Research Achievements

This research addressed the problem of maximizing or minimizing a quantity called nested expectation, which depends on some parameters. Such problem settings arise not only in optimizing Bayesian experimental designs but also in various scientific fields including machine learning. The aim of this research was to expand the applicability of stochastic gradient descent by constructing unbiased estimators for the gradient of the objective function, i.e., parametrized nested expectation. Specifically, we theoretically demonstrated that an unbiased gradient estimator with finite variance can be constructed by appropriately randomizing a multilevel Monte Carlo method, and we revealed the effectiveness of our novel approach through numerical experiments in various practical applications.

Free Research Field

数値解析

Academic Significance and Societal Importance of the Research Achievements

既存のアプローチとしては、入れ子になっている期待値のそれぞれをモンテカルロ法で近似するという方法が取られてきたが、どんなにサンプル数を増やしても不偏性を持たないことから、確率的最適化において正しい値に収束しないという問題点があった。本研究成果によってこの問題を解決し、より広いクラスの最適化問題に対して、確率的最適化が理論的にも実験的にも適切に最適解を探索できることになった点に学術的意義がある。また、様々な科学技術分野への応用が考えられるため、具体的な応用を通じて研究成果の社会的意義を見出すことが出来る。