| 研究課題/領域番号 |
19H04186
|
|---|
| 研究機関 | 中央大学 |
|---|
研究代表者 |
樋口 知之 中央大学, 理工学部, 教授 (70202273)
|
|---|
| 研究分担者 |
中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171)
Wu Stephen 統計数理研究所, データ科学研究系, 准教授 (70804186)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2023-03-31
|
| キーワード | 深層学習 / 状態空間モデル / 変分オートエンコーダ / 粒子フィルタ |
|---|
| 研究実績の概要 |
非線形および非ガウスの状態空間モデルの一般的解法は、原理的には粒子フィルタによって与えられる。ただし、状態空間モデル利用上の最大の障害は、システムモデルと観測モデルの型は既知でなければならない点である。本研究では深層学習による生成モデルを状態空間モデルの枠組みに導入し、この障害を克服する理論研究とアルゴリズムの確立を目的としている。技術的にさらに具体的に言えば、パラメータ同定も含めてシステムモデルと観測モデルの自動同定法の確立になる。
今年度は、計算機に実装する基本アルゴリズムの開発を進めた。Variational Auto Encoder (以後VAE)を用いた深層学習を生成モデル化する研究はこの3、4年非常に活発である。Deep Kalman Filter (以後DKF)のような勘弁な拡張から、Variational Recurrent NN (以後VRNN)のような複雑なものまで多数提案されている。我々は、VAEのエンコーダ部分にRecurrent NN（以後RNN）を含むGated recurrent unit（以後GRU）、Long short-term memory（以後LSTM）などの、「時系列」タイプのDNNを用いた。デコーダ部分には「非時系列」タイプのDNNを用いる構成を採用し、これらをまとめてRNN-VAEモデルと呼んでいる。RNN-VAEモデルは大きく見れば、潜在変数を与えるRNN部分が時系列ダイナミクス（状態空間モデルでのシステムモデル）を捉え、デコーダ部分が観測モデルの役割を果たしている。これらさまざまなVAEの類型を計算プラットフォームへインポートを行った。乱数ベクトルの発生数と対数尤度の推定精度の関係を数値実験により調べ、この結果をもとにパラメータ学習部分のアルゴリズムの改良を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
VAEを状態空間モデルに融合する研究が世界的にも活発であるため、昨年度に引き続き文献調査を精力的に行った。その結果、当初、計算プラットフォームへの実装を予定していた、DKFやVRNN以外にも、Sequential RNN、Kalman VAE、Deep State Space Model、Dynamic Networkなど多数、Sequential VAEの類型をリストアップすることができた。これらの違いを、特に状態空間モデルとしての解釈可能性の観点から吟味することで、我々の目的を実現する上で望ましいDNNの構造を特定化できたことは、今後の研究を進める上で大きな成果と言える。また、その構造を具現化したRNN-VAEを計算機に実装し、既存手法と予測性能の観点で比較検討できたことにより、研究進捗はおおむね計画通りと判断した。本研究は、理論および数値実験が主たる研究の内容であるため、新型コロナウイルスによる影響は今年度ほぼなかったが、途中成果の国際発表が制約され、海外の研究者からさまざまな観点から直接意見をもらえなかったことは残念な点である。
|
| 今後の研究の推進方策 |
2021年度には、既知の状態空間モデルをデータから逆推定する双子実験を開始する。これにより、アルゴリズムの改善を図る。検証事例として、モデルは既知であるが内在するパラメータが時間とともにゆっくり変化する人工データに対して適用し、数値実験を行う。パラメータ学習アルゴリズムとしては、粒子フィルタのフィルタリングに発想を得た、ELVOの時系列版であるFIVOが提案・利用されている。しかしながら、粒子数を増やしてもELVOの推定精度の大きな改善が得られないことが問題となっている。FIVOよりも計算時間はかかるが、状態空間モデルでのスムージングアルゴリズムにヒントを得た、フォワードフィルタリング・バックワードリサンプリングのELVO版アルゴリズムである、SVOの適用・改善もいろいろ試みられている。我々は、FIVO、SVOの数値実験比較とあわせて、逐次アンサンブルベースアルゴリズムの別手法を援用することで、粒子数を劇的に減らしながら推定精度を向上させるアルゴリズムの開発を行う。全体を通じて、適宜、論文や学会での発表により成果を公開する。2022年度には、アルゴリズムの実データへの適用を行う。特に、多次元時系列データ（動画像）データに対して適用し、予測性能の向上を目論む。また、全体を通じて、適宜、論文や学会での発表により成果を公開する。
研究体制としては、研究代表者である樋口がアルゴリズム開発を担当する。研究分担者のWuと中村は、開発したアルゴリズムを計算機に実装し、テストデータによる検証と、実データへの適用およびその結果の分析を担当する。本研究が採用している深層学習の計算プラットフォームを開発している研究者と、別の研究開発プロジェクト（NEDO: 国立研究開発法人新エネルギー・産業技術総合開発機構による支援）で密に情報交換を行う予定である。
|
