2019 Fiscal Year Annual Research Report
Study on the improvement of the forecast due to the fusion of deep learning and symbol processing
| Project Area | Correspondence and Fusion of Artificial Intelligence and Brain Science |
|---|
| Project/Area Number |
16H06562
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
松尾 豊 東京大学, 大学院工学系研究科(工学部), 教授 (30358014)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
PRENDINGER HELMU 国立情報学研究所, コンテンツ科学研究系, 教授 (40390596)
|
|---|
| Project Period (FY) |
2016-06-30 – 2021-03-31
|
| Keywords | 深層学習 / 深層生成モデル / 世界モデル / プランニング |
|---|
| Outline of Annual Research Achievements |
(i)記号処理を組み込んだDeep Q Networkの構成、ならびに、(ii) 文章からの画像の生成モデルを用いた、画像空間での演算処理の両方の基礎技術となるのが、世界モデルの構築である。近年、世界モデルを用いて、モデルベースの強化学習を行う方法が、さまざまに提案されている。例えば、[1]では、ビデオ予測を取り入れたモデルベース強化学習であり、モデルフリーよりもずっと少ないインタラクションで学習をすることができる。その際、世界モデルをいかにロバストに、効率的に構成するかは大きな課題であり、そのためにはベースとなっている変分オートエンコーダ（VAE）等の技術を頑健にサンプル効率的に進展させることが必要である。
本年度の研究では、系列を予測する系列VAEに大域的なパラメータを導入する手法、ニューラルプロセスにおいてより効果的に学習する手法、集合に対してVAEを適用する手法などを提案した。これによって、さまざまな文脈において、より適切に潜在変数を推定し、世界モデルの効率的な学習につなげることができる。
また、世界モデルを用いた強化学習を行うために深層状態空間モデルを用いた映像予測の手法を提案した。実ロボットを用いての実験も行なっており、実世界でのモデルベース強化学習につなげていく予定である。
より具体的に(ii)の文章との連携に関しては、自己教師あり学習の枠組みを拡張し、センサ・アクチュエータの入出力と言語の入出力が連携したモデルを提案した。
上記に関して、国内学会、国際会議、ジャーナル論文等への投稿を積極的に行なった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
テーマ(i)(ii)に関して、技術の進展が早いが、当初予定通り、VAEを用い深層生成モデルによるプランニングおよび意味理解という方向に向けて、着実に進んでいる。このところ、記号処理と深層強化学習の融合が世界的に盛んになってきており、そのなかで新規性を出した論文を出していくのは簡単ではないが、さまざまな観点から研究を進めており、論文投稿も積極的に行なっている。
|
| Strategy for Future Research Activity |
現在のGQNは、シミュレータ環境のみでの実験が主であるが、これを実環境のデータセットを用いて検証していくことが考えられる。また、GQNをベースにプランニングに発展させていく技術を構築する。そのために、世界モデルに関するロバスト性の追求等の課題を解決しながら進める。
テーマ(ii)の言語との関連に関しては、GQNをマルチモーダルに拡張することで、言語情報とのアラインメントを行う手法を構築する。
いずれも、早い段階での国際会議への投稿、および本研究のまとめとしての論文誌への投稿を積極的に進めていく予定である。
|
