Estimation of Stochastic Processes with Online Optimisation Methods

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K20318
• Research Institution: The University of Tokyo
• Principal Investigator: 仲北 祥悟 東京大学, 大学院総合文化研究科, 特任助教 (80855114)
• Project Period (FY): 2021-08-30 – 2023-03-31
• Keywords: オンライン最適化 / 確率過程の統計学 / 確率的最適化

Outline of Annual Research Achievements

確率的最適化のアルゴリズムの一つである確率的鏡像降下法の理論分析を進めた。確率的鏡像降下法において目的関数に対応するランダムな劣勾配の列には通常独立性と不偏性が仮定されるが、従属性とバイアスを持つ場合であってもこれらの影響を評価することで大域解への収束の十分条件が得られた。
この分析は特に離散観測される確率微分方程式のパラメータ推定に活用できる。目的関数を収束先に持つコントラスト関数を用いて観測毎にオンライン勾配降下法で推定量を更新する問題を考える。目的関数とコントラスト関数が凸性を持つ時、この問題は上の確率的鏡像降下法の問題に帰着される。例えば線形なパラメータ構造を持つ確率微分方程式に対するガウス型や最小自乗型のコントラスト関数は目的関数と共に凸性の条件を満たす。更に目的関数についてある種の識別可能条件を仮定する時、このオンライン勾配降下法による推定量の収束レートを導出することができる。このような確率微分方程式はパラメータ以外の量については非線形な構造を持つことができるため、柔軟なモデリングが可能となる。
オンライン勾配降下法による推定の利点の一つは計算量が小さいことであり、具体的にこの計算量はサンプル数とパラメータ数の積のオーダーとなる。比較のためパラメータについて線形な確率微分方程式と最小自乗型のコントラスト関数の組を考える。この時サンプルを用いた陽な表現を持つ推定量が存在するが、行列計算のために計算量はオンライン勾配降下法の計算量を上回る。
これらの結果により、研究目的である計算量の小さいオンライン推定量の構成とそのような推定量が良い統計的性質を持つ確率過程のクラスの提案を行うことが可能である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

確率的最適化アルゴリズムである確率的鏡像降下法に従属性とバイアスを導入した場合の分析を通じて、オンライン勾配降下法を用いた確率過程のパラメータ推定について研究計画において想定していた結果を導出できているため、研究は順調に進展している。

Strategy for Future Research Activity

今後の研究の推進方策は、確率過程のオンライン推定の計算機上での実験、並びに確率的鏡像降下法に対する理論分析の拡張の二つである。計算機上での実験では、特にパラメータ以外についての非線形構造やパラメータの高次元性がどの程度推定精度に影響するかを検証する。理論分析の拡張については、確率的鏡像降下法に対する結果が凸性の仮定を変更した場合にどのように変化するかを見る。

Causes of Carryover

当該年度においては学会や研究集会の多くがオンライン開催であり、旅費として申請していた予算によって未使用額が生じた。