2014 Fiscal Year Annual Research Report
| Project/Area Number |
24700139
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山崎 啓介 東京工業大学, 総合理工学研究科(研究院), 助教 (60376936)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 数理統計学 / 潜在変数推定 / ベイズ推定 / 最尤推定 / 教師なし学習 / 半教師あり学習 |
|---|
| Outline of Annual Research Achievements |
潜在変数の推定誤差をデータから近似する方法を提案した。統計モデルの潜在変数が情報源に対して冗長性を持たない場合は、誤差関数の漸近形は情報源を表すパラメータ（真のパラメータ）に依存する。最尤推定量や変分ベイズ法による推定量を真のパラメータの近似値とすることで、誤差関数の近似が計算可能となった。また、情報源に比べモデルが冗長な場合は誤差関数の漸近形が双有理不変量に依存する。変分ベイズ法の自由エネルギーとベイズ自由エネルギーを組み合わせることにより、この不変量が表現可能であることを示した。両エネルギー値はデータから求めることができるため、誤差関数を計算可能である。混合二項分布の場合に、生成したデータから両エネルギー値を用いることで誤差関数を数値計算した。理論値と比較するとエネルギー値の計算誤差が大きく影響することが分かり、誤差関数の正確な値を知るには何らかの形で潜在変数に関する情報を得て、冗長性を排除することが重要であることがわかった。
この問題に対し本研究では２つのアプローチで解決法を提案した。
一つ目はベイズ法による潜在変数推定アルゴリズムの数理的な性質によるものである。アルゴリズムの評価関数を解析することにより、推定過程においてアルゴリズムそのものが冗長性を消去する強い作用を持つことを理論的に示した。
二つ目は推定に関わる条件を緩和し、冗長性を排除できる場合について誤差の計算を目指すものである。その例として、半教師あり学習の推定誤差を解析した。観測された潜在変数より、その値域や次元がわかるため冗長性を消去することができる。誤差の漸近形を導出し、教師無し学習の場合と同様にフィッシャー情報行列で表現されることを示した。これにより最尤推定量などを真のパラメータの近似として誤差関数を計算することが可能となった。
|
