2017 Fiscal Year Research-status Report
代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明
| Project/Area Number |
15K00331
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 双有理不変量 / 交差損失 / 情報量規準WAIC / 非負値行列分解 |
|---|
| Outline of Annual Research Achievements |
神経回路網や混合正規分布のように階層的な構造を持つ学習モデルは、パラメータと確率分布との対応が一対一ではないため統計的に正則なモデルではなく、学習誤差や汎化誤差の挙動が解明されていなかったが、近年、代数幾何学を基盤とした新しい理論の構築により正則でないモデルも含めて扱うための方法が確立された。本研究においては、統計的学習においてモデルの評価に用いられる自由エネルギーと汎化誤差およびその推定法の数学的な相違と実問題への適用における差を双有理幾何学の観点から解明することを目的とする。
平成29年度の研究においては次のことを解明した。(1) 汎化誤差の推定量である交差損失と情報量規準WAICの違いを解明した。入力Xから出力Yへの条件つき確率の推定において交差損失が汎化損失を推定できるためにはXとYの同時確率の独立性が必要になるが、一方、情報量規準はXが与えられたときのYの独立性の条件があれば適用することができる。これは情報量規準のほうが交差損失よりも広い問題に適用できることを意味している。同時確率が独立である場合には両者は漸近的に等価であるが、そうでない場合には情報量規準のほうが汎化誤差の推定に広く利用できることが明らかになった。また交差損失と情報量規準の値に大きな差がある場合には、データにおけるXの独立性が保証されないということもわかった。(2)これまで汎化誤差や自由エネルギーの挙動が解明されていなかった非負値行列分解の実対数閾値の上界を代数幾何学的な方法で解明し、数値実験により上界の精度を検証した。これにより非負値行列分解における自由エネルギーと汎化誤差の値を知ることが可能になり、モデル選択やモデルの検定を合理的な形式で行うことが可能になった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
汎化誤差の漸近的に不偏な推定量である交差損失と情報量規準の理論的な相違について、それぞれを適用するための数学的な条件の違いが解明がされた。教師あり学習および回帰分析は機械学習と統計学において実務上しばしば利用される問題であるが、交差損失と情報量規準の数理的な違いを用いてモデルの診断方法を構成できたことは重要な研究の進展と考えられる。また従来は非負値行列分解については理論的な基盤が不十分でありヒューリスティクスに頼った設計が行われてきたが、代数幾何に基づいて自由エネルギーと汎化誤差の挙動の理論的な基盤が構成できたことで実務の上でのモデルの適切性の確認を行うことが可能になった。
|
| Strategy for Future Research Activity |
階層型神経回路網は理論的には本研究が適用可能である対象であるが、その規模が極めて大きいときにはベイズ事後分布を実現することが容易でないという問題がある。ベイズ事後分布を近似的に実現する方法を適用した場合の自由エネルギーと汎化誤差の挙動について解析を行っていく。また、交差検証と情報量規準の理論的な違いは解明されたが、その数量的な相違について調べる方法を検討する。
|
