2019 Fiscal Year Research-status Report
Stochastic gradient variational Bayes for time-series modeling
| Project/Area Number |
18K18117
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
佐野 崇 成蹊大学, 理工学部, 助教 (00710295)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 確率的グラフィカルモデル / 時系列データ / 運動制御 / 強化学習 / 変分ベイズ法 |
|---|
| Outline of Annual Research Achievements |
確率勾配変分ベイズ法を、時系列を扱うことのできる確率モデルに適用する研究を引き続き行った。先行研究である、深層マルコフモデルを改変したモデルを用い、人工的なデータを用いた検証を行った。この検証では、入力データの次元数が小さい間は、ある程度の制度で時系列の学習が行えることがわかったが、次元数が大きくなると、学習が難しくなることがわかった。この点を解決できるよう、モデルの改良を行い、実世界データでの有用性を示すことが、今後の課題であると認識している。
他に、確率勾配変分ベイズ法の応用として、Noisy-OR型の確率分布を持つベイジアンネットワークの変分学習アルゴリズムを開発した。この方法は、平均場近似を用いる既存法よりも、大規模化に向いていると、実験結果は示唆している。さらに、Noisy-ORモデルが、Sigmoid型モデルとは全く異なる特徴を学習することが判明した。
さらに、強化学習に関する研究も行った。3次元の仮想空間を、主に視覚情報を用いて探索するエージェントに、連続する視覚情報の時系列を学習し、生成することのできる再起型ニューラルネットワークを組み合わせた。これにより、視覚情報が欠落しても、それを前後のフレームから推定し、行動決定の手がかりにすることができる。他にも、脳の再帰的構造を模倣した新しい強化学習アルゴリズムの開発も行った。これらの手法はそれぞれ質的に新しく、また組み合わせることができ、新しい強化学習アルゴリズムの開発につながる。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
モデル構築の行き詰まりや、家庭の事情による時間の不足により、当初の計画よりも遅れた。
|
| Strategy for Future Research Activity |
現状のモデルの限界が分かってきたため、改良を行う。特に、変分分布を構成する再起型ニューラルネットワークモデルに問題があると考えている。これを、例えばトランスフォーマなどの、より柔軟なモデルに置き換えることで、性能の向上を図りたい。もう一つの方向性として、畳込みニューラルネットワークのような、よりシンプルなネットワークを用いて変分分布を作成する方法もあり、こちらも検討したい。
また、強化学習と時系列学習を組み合わせた研究については、さらに実験を重ね、手法の優位性を検証していきたい。
|
| Causes of Carryover |
家庭の事情により研究が遅れたため、次年度へ研究費を繰り越すことにした。
主に研究発表、論文投稿に研究費を用いる予定である。
|
