2018 Fiscal Year Research-status Report
Stochastic gradient variational Bayes for time-series modeling
| Project/Area Number |
18K18117
|
|---|
| Research Institution | Seikei University |
|---|
Principal Investigator |
佐野 崇 成蹊大学, 理工学部, 助教 (00710295)
|
|---|
| Project Period (FY) |
2018-04-01 – 2020-03-31
|
| Keywords | 時系列学習 / 隠れマルコフモデル / 再帰型ニューラルネットワーク / 動的ベイジアンネットワーク |
|---|
| Outline of Annual Research Achievements |
研究課題である確率勾配変分ベイズ法に基づいた時系列モデリングの研究にあたって、本年度は、主に関連研究のサーベイと、モデルの構築、学習アルゴリズムの実装を行った。また、研究課題と関連する活動として、国際会議IJCNNと、国内会議AGI研究会での口頭発表と情報収集を行った。
関連研究のサーベイでは、時系列構造を持つベイジアンネットワークに対し、ニューラルネットワークの最適化によって学習を行う研究を調査した。その結果、変分オートエンコーダを時系列に拡張した研究は近年になっていくつか見られたが、時系列を、系列情報を持たない静的な隠れ変数にエンコードする研究が主であった。私のアイデアと近いものとして、可視変数の系列を隠れ変数の系列にエンコードし、さらに隠れ変数の時刻変化をモデル化する、Deep Karman Filter (Krishnan+ 2015, 2016)を発見した。私はこのモデルを元に、動的ベイジアンネットワークの学習アルゴリズムを実装した。実装したモデルに対し、人工データを用いて、時系列学習が可能であることが確認できた。現在は実データによる検証を行うために、さらなる拡張、調整を行っている。
関連した研究活動として、国内会議IJCNNへ参加し、口頭発表と情報収集を行った。口頭発表では、ある種の変分近似法を用いたグラフィカルモデルの学習法についての研究発表を行った。情報収集としては、最近の再帰型ニューラルネットワークについて学ぶことができた。さらに、国内会議AGI研究会では、ベイジアンネットワークの学習についての発表を行い、ニューラルネットワークや、脳にインスパイアされた学習モデルについての情報収集ができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
確率勾配変分ベイズ法による時系列ベイジアンネットワークの学習アルゴリズムの初期の実装が完了した。アルゴリズムの評価はまだ途中であり、特に高次元の実データに対して安定して学習が行えるかの検証が必要である。しかし、モデルには、ニューラルネットワークの構造やユニット数などのハイパーパラメタを調整する余地が大いにあり、また、認識部の再帰型ニューラルネットワークの学習には先行研究の知見が多くあるため、安定な学習条件が発見できると考えている。
また、運動学習、運動生成への応用については、隠れ変数を離散変数にすると、運動生成の計算が著しく簡単になり、都合が良いことが判明した。そのため、現在の連続的な隠れ変数を持つモデルを改変し、それに合わせて学習アルゴリズムの変更も必要になるが、これについても先行研究のアイデアを使うことで解決できる見込みがあり、今後の方針に一定のめどが付いている。
|
| Strategy for Future Research Activity |
基本となる学習モデルの実装に対して、様々な条件で評価実験を行う。再帰型ニューラルネットワークの先行研究の知見に基づき、ニューラルネットワークの接続構造やユニット数などの、ハイパーパラメタの調整を行う。データとしては、音声等の実世界の時系列データを用いる。
また、運動生成への応用を行うために、隠れ変数空間を離散に変更する改変も行う。このため、離散隠れ変数に対応したNeural Variational Inference and Learning (Mnih+2014)や、VQ-VAE(van den Oord+2017) 等の手法を組み合わせたモデルの拡張を行い、運動生成への応用を行う。また、隠れ変数を離散化することが、運動生成以外の応用に対しても、モデルの精度向上に役立つかどうかの検討を行う。
|
| Causes of Carryover |
当年度の国際会議参加のための渡航費用が前所属先から提供されたため、その分を次年度の渡航費用として繰り越すことにした。
|
