Theoretical Analysis of Variational Bayesian Inference for Latent Variable Models

2017 Fiscal Year Research-status Report

• Project/Area Number: 17K12743
• Research Institution: National Institute of Informatics
• Principal Investigator: 小西 卓哉 国立情報学研究所, 大学共同利用機関等の部局等, 特任研究員 (20760169)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 機械学習

Outline of Annual Research Achievements

潜在変数モデルはデータの背後にある隠れた特徴やその関係を表現できる重要な統計モデルであり、その有効な推定方法として変分ベイズ法が知られている。近年では複雑な潜在変数モデルの推定や、大規模で多様なデータにも応用され注目されている。一方で、こうした複雑なモデルや様々なデータを扱うとき、変分ベイズ法によって得られる推定結果がどのように振る舞うのか依然未知の部分も多い。本研究では、潜在変数モデルを変分ベイズ法で推定するときに、モデルがどのように推定されるのか、主に理論的な側面から解析することを試みる。特に従来の研究ではカバーできていない潜在変数モデルや、変分ベイズ法の発展的な推定法に着目し、その振る舞いを明らかにすることで、対象のモデルや推定法を理解することを目的としている。
本年度は、確率的ブロックモデルとその変分ベイズ法による推定に着目し、その性質を解析することに取り組んだ。具体的には、ネットワークデータを対象とした場合の確率的ブロックモデルについて、サンプル極限での推定アルゴリズムの漸近的な挙動を調べることで、与えられたハイパーパラメータが推定結果にどのように影響するのか解析することに取り組んだ。その過程で、一部想定通りに解析できない部分があることがわかった。そこで、ネットワークデータではなく、2部グラフデータの場合の性質を調べることに問題を一部変更して、改めて同様のアプローチで解析を行った。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究実績の概要に記したように、現在までに確率ブロックモデルの変分ベイズ法による推定の解析を行っている。解析にある程度目処が経っているものの、まだ結果を公表する段階まで至っておらず、当初の予定からやや遅れている。

Strategy for Future Research Activity

本年度に継続して確率的ブロックモデルの変分ベイズ法による推定について解析を行う予定である。引き続き2部グラフデータの場合の解析を行い、変分ベイズ法による推定結果の性質を明らかにすることを目指す。ただ、想定通り解析が進まない場合も考えられるため、その場合はモデルやデータなどの問題設定を一部変更するなどの対策を講じることで対処していくことにする。

Causes of Carryover

当初予定していた計算機の購入と出張予定を次年度に持ち越すことにした。いずれも次年度の適切な時期に支出する予定である。