| 研究課題/領域番号 |
24700135
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
佐藤 一誠 東京大学, 情報基盤センター, 助教 (90610155)
|
|---|
| 研究期間 (年度) |
2012-04-01 – 2014-03-31
|
| キーワード | 周辺化変分ベイズ法 / 確率的潜在変数モデル |
|---|
| 研究概要 |
近年研究が盛んである確率的潜在変数モデルLatent Dirichlet Allocation(LDA)の学習アルゴリズムである周辺化変分ベイズ法の理論解析及びその応用を行った。
周辺化変分ベイズ法は、解析的に解くことが出来ない積分計算を伴うため近似計算を必要とする。これはテイラー展開により計算可能であるが、特定の次数での近似がLDAの学習では性能が良いことが経験的に知られている。
この現象に対して理論的な解析を行った。変分ベイズ法及び周辺化変分ベイズ法はKullback-Leibler(KL)情報量の下での最適化として導出される。
そこで、KL情報量を一般化したalpha情報量を用いて学習アルゴリズムを一般化し、パラメータであるalphaの挙動を考察することで、周辺化変分ベイズ法の挙動を理論的に解析した。また、上記で行った周辺化変分ベイズ法の理論解析を元にLDAの拡張モデルである階層Dirichlet過程LDA (HDP-LDA:Hierarchical Dirichlet Process enhanced Latent Dirichlet Allocation)における周辺化変分ベイズ法の研究を行った。LDAでは、潜在変数の次元数を予め決めておく必要がある。HDP-LDAでは、この次元数を推定することができる。HDP-LDAの周辺化変分ベイズ法はすでに提案されているが、LDAの場合と比べて近似計算に複雑な数値計算を伴うため、実装が複雑になる。また、データの十分統計量の分散値を保持しておく必要がある。例えば、文書解析においては、各単語毎にこの分散値を潜在変数の次元数だけ保持する必要があり、大規模データでは好ましくない。また、分散の計算は実装の複雑化を助長する。本研究では、LDAと同程度に実装が容易で、分散値の計算を必要としない周辺化変分ベイズ法を開発した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
確率的潜在変数モデルの学習は、潜在変数という非観測の確率変数に関する統計量を学習時に保持しておく必要があるため、大規模データに対して適用する場合には、潜在変数を含まないモデルに比べて多くの計算量とメモリ使用量がかかる。特に、近年汎化性能の高い学習アルゴリズムとして注目されている周辺化変分ベイズ法では、変分ベイズ法では通常保持しない統計量を保持する必要があったため、このメモリ使用量に関する問題は顕著になる。現在の研究では、この問題に対する１つの解決策を示す事が出来た。また、周辺化変分ベイズ法の性能に関する解析は、実験的・経験的にしか示されていなかったたが、理論的に解析することができた。
|
| 今後の研究の推進方策 |
今後の課題として以下の２つに取り組む予定である。
１．更なる省メモリ化
現在の周辺化変分ベイズ法では、１つの潜在変数に対して、潜在変数の次元だけ確率ベクトルを保持しておく必要がある。この問題は周辺化変分ベイズ法がもつ特有の問題として不可避である。しかし、確率的最適化の理論を用いることで、この問題を近似的に解決することができると考えられる。
２．並列化
周辺化変分ベイズ法では、１つの潜在変数のパラメータ更新が全体の統計量に影響し、間接的に他の潜在変数のパラメータ更新に影響を与える。これは、従来の変分ベイズ法やEMアルゴリズムがもつ並列化の容易性とは異なり、並列化アルゴリズムを導出したとしても近似的なアルゴリズムとなってしまう。周辺化変分ベイズ法の理論解析の結果、同様の汎化性能を持ちつつ、並列化アルゴリズムを導出し易い新たなアルゴリズムを開発できるのではないかと考えている。
|
| 次年度の研究費の使用計画 |
研究発表等の英文校正・旅費として、国内では400,000円、海外では1,000,000円必要と考えられる。
物品費等として600,000円、人件費・謝金として400,000円を予定している。
|
