| Project/Area Number |
20K03744
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 12040:Applied mathematics and statistics-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Goda Takashi 東京大学, 大学院工学系研究科(工学部), 准教授 (50733648)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
|
|---|
| Keywords | モンテカルロ法 / マルチレベルモンテカルロ法 / 確率的最適化 / 確率的勾配降下法 / 入れ子型期待値 / ベイズ実験計画法 / ベイズ実験計画 / 確率的近似法 / 不偏推定 |
|---|
| Outline of Research at the Start |
確率的最適化とはパラメータを含む期待値を最小化あるいは最大化するための数値計算法であるが。既存のアルゴリズムでは期待値の（パラメータについての）勾配に対する不偏推定量を構成できることが陰に仮定されてきた。本研究では不偏推定量を構成することが必ずしも容易ではない、あるいは困難な状況に対する確率的最適化について考究する。マルチレベルモンテカルロ法を駆使した新奇的かつ明示的アルゴリズムを提示することによって、確率的最適化の適用可能性を拡張し、当該分野に新しい展開をもたらす。更に、ベイズ的実験計画法の最適化や変分オートエンコーダの学習といった具体的な問題へ応用し、その有効性を実験的にも示す。
|
| Outline of Final Research Achievements |
This research addressed the problem of maximizing or minimizing a quantity called nested expectation, which depends on some parameters. Such problem settings arise not only in optimizing Bayesian experimental designs but also in various scientific fields including machine learning. The aim of this research was to expand the applicability of stochastic gradient descent by constructing unbiased estimators for the gradient of the objective function, i.e., parametrized nested expectation. Specifically, we theoretically demonstrated that an unbiased gradient estimator with finite variance can be constructed by appropriately randomizing a multilevel Monte Carlo method, and we revealed the effectiveness of our novel approach through numerical experiments in various practical applications.
|
| Academic Significance and Societal Importance of the Research Achievements |
既存のアプローチとしては、入れ子になっている期待値のそれぞれをモンテカルロ法で近似するという方法が取られてきたが、どんなにサンプル数を増やしても不偏性を持たないことから、確率的最適化において正しい値に収束しないという問題点があった。本研究成果によってこの問題を解決し、より広いクラスの最適化問題に対して、確率的最適化が理論的にも実験的にも適切に最適解を探索できることになった点に学術的意義がある。また、様々な科学技術分野への応用が考えられるため、具体的な応用を通じて研究成果の社会的意義を見出すことが出来る。
|
