| 研究課題/領域番号 |
18K18117
|
|---|
| 研究機関 | 成蹊大学 |
|---|
研究代表者 |
佐野 崇 成蹊大学, 理工学部, 助教 (00710295)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2020-03-31
|
| キーワード | 時系列学習 / 隠れマルコフモデル / 再帰型ニューラルネットワーク / 動的ベイジアンネットワーク |
|---|
| 研究実績の概要 |
研究課題である確率勾配変分ベイズ法に基づいた時系列モデリングの研究にあたって、本年度は、主に関連研究のサーベイと、モデルの構築、学習アルゴリズムの実装を行った。また、研究課題と関連する活動として、国際会議IJCNNと、国内会議AGI研究会での口頭発表と情報収集を行った。
関連研究のサーベイでは、時系列構造を持つベイジアンネットワークに対し、ニューラルネットワークの最適化によって学習を行う研究を調査した。その結果、変分オートエンコーダを時系列に拡張した研究は近年になっていくつか見られたが、時系列を、系列情報を持たない静的な隠れ変数にエンコードする研究が主であった。私のアイデアと近いものとして、可視変数の系列を隠れ変数の系列にエンコードし、さらに隠れ変数の時刻変化をモデル化する、Deep Karman Filter (Krishnan+ 2015, 2016)を発見した。私はこのモデルを元に、動的ベイジアンネットワークの学習アルゴリズムを実装した。実装したモデルに対し、人工データを用いて、時系列学習が可能であることが確認できた。現在は実データによる検証を行うために、さらなる拡張、調整を行っている。
関連した研究活動として、国内会議IJCNNへ参加し、口頭発表と情報収集を行った。口頭発表では、ある種の変分近似法を用いたグラフィカルモデルの学習法についての研究発表を行った。情報収集としては、最近の再帰型ニューラルネットワークについて学ぶことができた。さらに、国内会議AGI研究会では、ベイジアンネットワークの学習についての発表を行い、ニューラルネットワークや、脳にインスパイアされた学習モデルについての情報収集ができた。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
確率勾配変分ベイズ法による時系列ベイジアンネットワークの学習アルゴリズムの初期の実装が完了した。アルゴリズムの評価はまだ途中であり、特に高次元の実データに対して安定して学習が行えるかの検証が必要である。しかし、モデルには、ニューラルネットワークの構造やユニット数などのハイパーパラメタを調整する余地が大いにあり、また、認識部の再帰型ニューラルネットワークの学習には先行研究の知見が多くあるため、安定な学習条件が発見できると考えている。
また、運動学習、運動生成への応用については、隠れ変数を離散変数にすると、運動生成の計算が著しく簡単になり、都合が良いことが判明した。そのため、現在の連続的な隠れ変数を持つモデルを改変し、それに合わせて学習アルゴリズムの変更も必要になるが、これについても先行研究のアイデアを使うことで解決できる見込みがあり、今後の方針に一定のめどが付いている。
|
| 今後の研究の推進方策 |
基本となる学習モデルの実装に対して、様々な条件で評価実験を行う。再帰型ニューラルネットワークの先行研究の知見に基づき、ニューラルネットワークの接続構造やユニット数などの、ハイパーパラメタの調整を行う。データとしては、音声等の実世界の時系列データを用いる。
また、運動生成への応用を行うために、隠れ変数空間を離散に変更する改変も行う。このため、離散隠れ変数に対応したNeural Variational Inference and Learning (Mnih+2014)や、VQ-VAE(van den Oord+2017) 等の手法を組み合わせたモデルの拡張を行い、運動生成への応用を行う。また、隠れ変数を離散化することが、運動生成以外の応用に対しても、モデルの精度向上に役立つかどうかの検討を行う。
|
| 次年度使用額が生じた理由 |
当年度の国際会議参加のための渡航費用が前所属先から提供されたため、その分を次年度の渡航費用として繰り越すことにした。
|
