2021 Fiscal Year Annual Research Report
Automation of a state space modeling by an integration of the variational auto encoder and particle filter
| Project/Area Number |
19H04186
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
樋口 知之 中央大学, 理工学部, 教授 (70202273)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171)
Wu Stephen 統計数理研究所, データ科学研究系, 准教授 (70804186)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 深層学習 / 状態空間モデル / 変分オートエンコーダ / 粒子フィルタ |
|---|
| Outline of Annual Research Achievements |
非線形および非ガウスの状態空間モデルの一般的解法は、原理的には粒子フィルタによって与えられる。ただし、状態空間モデル利用上の最大の障害は、システムモデルと観測モデルの型は所与でなければならない点である。この難点を解決するため、本研究では深層学習による生成モデルであるVariational Auto Encoder（VAE)を状態空間モデルの枠組みに導入した、理論研究とアルゴリズムの確立を目指している。具体的には、パラメータ同定も含めてシステムモデルと観測モデルの自動同定法の確立になる。
本年度は、状態空間モデルが時間とともに変容していくデータに対して、アルゴリズムの追随性や可塑性を数値実験により検討した。具体的な検証事例として、モデルは既知であるが内在するパラメータが時間とともにゆっくり変化する人工データに対してアルゴリズムを適用した。パラメータ学習アルゴリズムとしては、粒子フィルタのフィルタリングに発想を得た、ELVOの時系列版であるFIVOが提案・利用されている。しかしながら、粒子数を増やしてもELVOの推定精度の大きな改善が得られないことが問題である。FIVOよりも計算時間はかかるが、状態空間モデルでのスムージングアルゴリズムにヒントを得た、フォワードフィルタリング・バックワードリサンプリングのELVO版アルゴリズムである、SVOの適用・改善もいろいろ試みられている。我々は、FIVO、SVOの数値実験比較とあわせて、逐次アンサンブルベースアルゴリズムの別手法を援用することで、粒子数を劇的に減らしながら推定精度を向上させるアルゴリズムの開発を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
パラメータ学習の方法として、逐次アンサンブルベースアルゴリズムである、アンサンブルカルマンフィルタ（EnKF: Ensemble Kalman Filter）を基にした新しいアルゴリズムEnKOを開発し、人工データに適用したところ、既存学習アルゴリズムよりも予測性能の上で優れたパーフォーマンスを示すことを確認した。この手法により、予測性能を大きく改善できたばかりでなく、計算量の上でも劇的に減少させることが可能になった。これにより、これまでSequential VAEの適用が難しかった、次元の高い時系列データ（例えば、動画像データ）も取り扱うことが可能となったため、当初の計画以上に進展したと判断した。アルゴリズムのコアの部分を学会や研究会で発表し、ポジティブな評価を得ていることも判断の根拠とした。さらにアルゴリズムの提案と数値実験の結果をまとめ、国際学会誌や国際学術誌に投稿するレベルにまで完成度を上げることができた。本研究は、理論および数値実験が主たる研究の内容であるため、新型コロナウイルスによる影響は今年度もほぼなかった。途中成果の国際発表が制約されたため、海外の研究者からさまざまな観点から直接意見をもらえなかったことは残念な点として残る。
|
| Strategy for Future Research Activity |
我々は、今年度、FIVOと比較して粒子数を劇的に減らしながら推定精度を向上させるアルゴリズムであるEnKOを開発した。このEnKOを低次元のカオス時系列データに適用し、予測性能を確認するとともに、カオス研究の観点から新知見を得る。また、次元の高い時系列データへの適用可能性を確認するため、動画像データに対しても実験を行う。全体を通じて、適宜、論文や学会での発表により成果を公開する。
研究体制としては、研究代表者である樋口がアルゴリズム開発を担当する。研究分担者のWuと中村は、開発したアルゴリズムを計算機に実装し、人工データによる検証と、実データへの適用およびその結果の分析を担当する。本研究が採用している深層学習の計算プラットフォームを開発している研究者と、別の研究開発プロジェクト（NEDO: 国立研究開発法人新エネルギー・産業技術総合開発機構による支援）で密に情報交換を行い、本アルゴリズムの利用度を向上させる方策を検討する。
|
