2016 Fiscal Year Research-status Report
代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明
| Project/Area Number |
15K00331
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 実対数閾値 / 汎関数分散 / 自由エネルギー / 汎化誤差 |
|---|
| Outline of Annual Research Achievements |
統計学および学習理論の実問題への応用においては、それに先立って、データを発生している真の分布、パラメータが与えられたときの統計モデル、およびパラメータの事前分布の三つ組が与えられたときの、自由エネルギーと汎化誤差の挙動をあらかじめ解明しておくことが必要になる。このうち自由エネルギーの漸近展開の主要項である log n の係数（nはデータの個数）は実対数閾値であり、汎化誤差の平均値の漸近展開の主要項である (1/n)の係数は特異揺らぎであるが、実対数閾値と特異揺らぎは、パラメータの空間を双有理変換しても変化しない双有理不変量であることが知られている。データが与えられたときに適切なモデルを選ぶ方法として自由エネルギーの最小化を行なう方法と汎化誤差の期待値を最小化する方法があるが、それらの方法は統計学的に異なる選択を与える規準であり、その選択法の相違を明らかにすることが本研究の目的である。平成２８年度は、(1) 統計モデルのパラメータ集合がユークリッド空間全体ではなく、個々のパラメータが非負であるという制限における実対数閾値がどのような挙動を持つかの解析を行なった。観測の結果としてデータから得られる行列を成分が非負の行列の積で表すことは非負値行列分解と呼ばれている方法であるが、非負値行列分解においては、パラメータに制限がない場合の行列分解よりも一般には実対数閾値が大きくなることを明らかにしその上界を与えた。またマルコフ連鎖モンテカルロ法による事後分布の近似により上界の確認を行なった。(2) 事前分布として多くのパラメータがゼロになりやすいものを用いて不要なパラメータを消去する方法はスパース推定と呼ばれているが、スパース推定の実対数閾値をハイパーパラメータの関数として導出した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(1) 自由エネルギーと汎化誤差の挙動について従来はパラメータについて実質的な制限がない場合が研究されていたが、パラメータの制限が推測結果に影響を及ぼす場合における実対数閾値の挙動が解明された。行列の非負値分解は実問題への応用が多く研究報告されている一方でその理論的な精度については解明されていなかったが、本研究により精度解明がなされた。パラメータ集合に制限がない場合には統計モデルと真のモデルのランクのみに依存するが、制限がある場合にはランクだけでは定まらない値になることが分かった。(2) またスパース推定におけるハイパーパラメータが実対数閾値に及ぼす影響を明らかにした。スパース推定のようにハイパーパラメータの変化が自由エネルギーや汎化誤差の主要項に影響を及ぼすモデルでは、そうでなくモデルよりもハイパーパラメータ設計の方法はより重要な意味を持っていることが明らかになった。
|
| Strategy for Future Research Activity |
混合正規分布や多層神経回路網のように階層的な構造を持つ統計モデルにおいては、モデルが複雑すぎる場合であっても自由エネルギーや汎化誤差がそれほど大きくならないことが知られている。これは、ベイズ法においては推測の精度を下げることなく複雑なモデルを適用できることを意味しており、ベイズ法の長所であるが、モデルの評価や選択を行なう場合には、必要以上におおきめのモデルが選ばれてしまいやすくなることを意味している。必要以上に大きめのモデルを用いるとベイズ事後分布を数値的に実現することの困難の度合いが増えるため、自由エネルギーや汎化誤差の観点からだけでなく事後分布の実現の確かさについての評価をする方法を検討する。
|
-
-
-
-
[Presentation] ベイズ推論2016
Author(s)
渡邊澄夫
Organizer
電子情報通信学会ソサイエティ大会
Place of Presentation
北海道大学
Year and Date
2016-09-20 – 2016-09-23
Invited
-
-
