2012 Fiscal Year Research-status Report
| Project/Area Number |
23500172
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 総合理工学研究科(研究院), 教授 (80273118)
|
|---|
| Keywords | 学習理論 / 双有理不変量 / ベイズ自由エネルギー / 漸近解析 / 逆温度 |
|---|
| Research Abstract |
統計的学習においてデータに対する学習モデルと事前分布の適切さを表す量にベイズ自由エネルギーがある。ベイズ自由エネルギーは対数周辺尤度あるいは確率的複雑さとも呼ばれ、統計学や情報理論において基本的な量であるが、この量を算出するためには逆温度の０と１の区間を細かく刻んで、各逆温度毎にマルコフ連鎖モンテカルロ法を用いて事後分布を数値的に実現する必要があり極めて多大な演算が必要であった。従来の研究によりベイズ自由エネルギーの漸近形が実対数閾値によって与えられることが解明されていたが、実対数閾値は真の分布によって異なる値となるため真の値が不明である実問題においては理論値を用いることができなかった。
この問題に関して平成24年度の研究では、データの数を n とするとき逆温度を(1/log(n))とすることで、一回のマルコフ連鎖モンテカルロ法によりベイズ自由エネルギーを算出することができるアルゴリズムを開発し、そのアルゴリズムの数学的正当性を証明することに成功した。この結果、真の分布が不明な実問題でもベイズ自由エネルギーを少ない演算量で求めることが可能になった。さらに実対数閾値についても算出する方法を得ることに成功した。
新しいアルゴリズムを用いてベイズ自由エネルギーを求めた場合の誤差を定めている量として、従来は知られていなかった新しい双有理不変量が発見された。この量は「パリティ」と呼ばれ、学習モデルの対数尤度が本質的に正負の両方の値を取る場合には１であり、そうでない場合には０となる。統計的正則モデルでは常にパリティは１であるが、特異モデルには０になるものもあることも明らかになった。
以上の研究によりデータからの知識発見と双有理不変量の関係が明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ベイズ自由エネルギーは、統計的モデル選択およびハイパーパラメータの最適化において基本的な役割を果たす量である。しかしながら、統計的正則モデルでない場合には、この量の計算には極めて多大な演算量が必要となるため現実的な規模の問題に応用することは容易ではなかった。本研究では、過去の研究によって知られていたベイズ自由エネルギーの漸近解析と、本年度の研究によって明らかになった逆温度(1/log(n))における対数尤度の平均値の挙動が漸近的に等しい挙動を持っていることを初めて明らかにした。
|
| Strategy for Future Research Activity |
新しく得られたベイズ自由エネルギーの算出法を様々な学習モデルに適応して、従来の方法ではできなかった学習モデルの評価が可能になることを示し、適切なモデルの選択やハイパーパラメータの最適化における研究成果の実用性を実証していく。また、新しく得られた研究成果を広く海外に公表していく。
|
| Expenditure Plans for the Next FY Research Funding |
本研究の研究成果は、少しずつ海外の研究者の間で評価が高まってきている。今年度の研究費の使用予定として、海外の研究者との共同研究および研究成果の国際的な会議での公表を行うための旅費として使用する。また学習アルゴリズムの実装のためのソフトウエア開発および発表のための論文作成における英文添削に用いる。
平成24年度は研究発表のために必要な旅費が節約できたため、平成25年度では海外への研究成果の公表を行うこととした。
|
