2019 Fiscal Year Annual Research Report
Theoretical Analysis of Variational Bayesian Inference for Latent Variable Models
| Project/Area Number |
17K12743
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
小西 卓哉 国立情報学研究所, ビッグデータ数理国際研究センター, 特任研究員 (20760169)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 機械学習 |
|---|
| Outline of Annual Research Achievements |
機械学習において潜在変数モデルはデータの背後にある隠れた特徴やその関係を表現できる重要な確率モデルであり、その有効な推論方法として変分ベイズ法が知られている。変分ベイズ法は複雑な潜在変数モデルの推論や、大規模で多様なデータにも応用でき注目されている。一方で、こうした複雑なモデルや様々なデータを扱うとき、変分ベイズ法によって得られる推論結果がどのように振る舞うのか依然として未知の部分も多い。本研究では、潜在変数モデルを変分ベイズ法で推論するときに、モデルがどのように推論されるのか、主に理論的な側面から解析することを試みる。特に従来の研究ではカバーできていない潜在変数モデルや、変分ベイズ法の発展的な推論方法に着目し、その振る舞いを明らかにすることで、対象のモデルや推論方法を理解することを目的としている。
研究期間中は主に確率的ブロックモデルと呼ばれる確率モデルに着目し、その変分ベイズ法による推論について、サンプル極限での推論アルゴリズムの漸近的な挙動を解析に取り組んだ。初めにネットワークデータのための確率的ブロックモデルを対象としていたが、研究を進める中で想定通り解析できないことが判明した。そこで扱うモデルを変更し、2部グラフデータのためのモデルに着目した。最終年度では、2部グラフデータのモデルの解析に継続して取り組み、部分的ではあるが想定した解析を行うことができた。また当初の研究課題には含めていなかったが、本研究を通して副次的に得た機械学習の知見を活かして、予測と最適化に関する研究課題にも並行して取り組み、新たな学習アルゴリズムを開発した。
|
