2020 Fiscal Year Research-status Report
Stochastic gradient variational Bayes for time-series modeling
| Project/Area Number |
18K18117
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
佐野 崇 東洋大学, 情報連携学部, 講師 (00710295)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 確率勾配変分ベイズ法 / 時系列データ / 畳み込みニューラルネットワーク / ベイジアンネットワーク / 確率的グラフィカルモデル |
|---|
| Outline of Annual Research Achievements |
昨年度に引き続き、確率勾配変分ベイズ法を用いた時系列学習の研究を行った。本年度は主に、畳み込みニューラルネットワーク(CNN)を用いた時系列学習についての研究を行った。CNNはもともと、画像における普遍的な局所相関を効率よく捉えるための学習モデルである。しかし、時系列データにおける時間的な相関についても、CNNのフィルタによって効率よく捉えられることが近年わかってきた。そこで、CNNを用いたオートエンコーダ型のモデルを作成することで、時系列データの教師なし学習が可能であるかの検証を行った。
この検証では、エンコーダとデコーダという2種類のCNNを用いた。これらのCNNは、確率勾配変分ベイズ法に従い、再構成誤差と、事前分布と事後分布の間のカルバック・ライブラ―情報量との和を最小化するように学習を行った。その結果、人工的に作成した時系列データに対しては学習を行うことができ、テスト時には、入力に対して、その後に続く未来の系列を予測することができた。
今後の研究では、このモデルを物理的な運動に対して適用することを検討している。系の物理モデルをデータから学習することで、効率の良い運動制御が可能になると期待できる。
確率勾配変分ベイズ法の別の応用として、ベイジアンネットワークの学習を行った。ここでは、noisy-ORモデル、noisy-ANDモデルという制限された条件付き確率表を持つベイジアンネットワークを扱った。これらの条件付き確率表はパラメータ数が少なく、大規模化が必要な応用に対して有望である。本研究では、確率勾配変分ベイズ法を用いてこのベイジアンネットワークを学習することで、特徴の位置不変性を学習できることを示し、工学的応用の可能性を調査した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
オンライン授業の準備など、コロナ禍における急な大学業務の変化によって、大きく時間をとられてしまった。また同様に、家庭でも、生活の変化によって想定以上に研究時間が削られてしまい、進捗の遅れの原因となった。
|
| Strategy for Future Research Activity |
畳み込みニューラルネットワークを用いた時系列学習を中心に研究を進める。特に、運動制御の課題を解決できることを実証するため、シミュレータを利用して、データの作成や、制御系列の検証を行う。さらに、この方法を強化学習と統合して、外界の物理モデルを学習することで、効率よく探索を行うことのできるエージェントの開発へとつなげていく。
他にベイジアンネットワークの学習も継続して研究を行っていき、より大規模なモデルでの実験を行い、平均場近似などの既存の方法と比較した優位性を明らかにしていく。
|
| Causes of Carryover |
コロナ禍において十分な研究時間が確保できなかったため、研究期間の延長を行った。繰り越し分は、追加の計算機実験に必要な備品の購入や、論文投稿料、学会参加費として使用する。
|
