2021 Fiscal Year Annual Research Report
モデルベース強化学習のための変分自己符号化器を用いた系列モデルの開発
| Project/Area Number |
20J11448
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
阿久澤 圭 東京大学, 工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | 深層学習 / 強化学習 / 生成モデル / 深層系列モデル / 系列モデル / 自然言語処理 / 音声信号処理 |
|---|
| Outline of Annual Research Achievements |
本研究は過去の観測系列を圧縮して大域的な表現を推論することができる深層系列生成モデルの開発を行い，それをモデルベース強化学習に応用することを目指すものである．本年度は，昨年度に投稿または採録された二つの研究について学会誌への採録や国際学会での発表を行うとともに，新たに二つの研究課題に取り組んだ（a, b）．
(a) 視覚と言語の対応づけのための 軌道の大域表現の半教師あり学習：昨年度から取り組んでいる内容について国内学会での発表を行うともに，それを発展させた研究について国際学会への投稿を行なった．研究内容としては，エージェントの軌道（画像と行動の系列）が与えられたときに，その軌道とそれを記述する言語指示の対応づけを学習する手法の開発を行うものである．提案手法は，言語指示が軌道の大域的な表現とみなすことができるという性質を利用し，深層系列生成モデルを用いた大域表現学習を補助タスクとして利用する．加えて，軌道と自然言語という二つのモダリティおよび系列長が異なるデータの潜在表現を学習するのに適した，新たなニューラルネットアーキテクチャを提案した．
(b) 階層型深層生成モデルを利用した音声変換：本年度から新たに取り組んだ研究が国際学会に採択され，また同国際学会で発表を行なった．研究(a)に示唆されるように，系列の大域的な表現はモデルベース強化学習において役立つ可能性がある．本研究は，系列の大域的な表現の学習を改善するための新たなアプローチの検討と位置付けることができる．本研究はRate-Distortion分析により，表現が特定の情報に対して不変でありかつ生成モデルとしての尤度を高く保つためにはモデルの表現力が十分大きい必要があることを確認した．そして音声変換のタスクで実験を行い，高いモデル表現力を持つ階層型深層生成モデルは表現の不変性と尤度を高い水準で両立できることを示した．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
