2021 Fiscal Year Research-status Report
予測概念の多様性に対応した情報量規準の開発：計算統計的アプローチ
| Project/Area Number |
21K12067
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
伊庭 幸人 統計数理研究所, モデリング研究系, 教授 (30213200)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
矢野 恵佑 統計数理研究所, 数理・推論研究系, 准教授 (20806070)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | Bayesian statistics / causal inference / covariate shift / Markov chain Monte Carlo / model selection / WAIC / PCIC |
|---|
| Outline of Annual Research Achievements |
事後分布からのMCMCサンプルを用いて、擬ベイズ的な推論に対する予測分布の汎化性能を評価する情報量規準PCIC(posterior covariance information criterion)を定式化し、数値実験と数学的証明により基礎付けた。PCICは推論のための尤度と評価尺度としての尤度が一致しない場合への情報量規準WAICの拡張になっており、1回のMCMC計算の結果から効率的に計算できる。PCICの典型的な応用としては、共変量シフトや統計的因果推論であらわれる重み付きの推論、裾の長い分布に対するサロゲート尤度による推論などがあげられる。この結果を統計関連学会連合大会で発表した。また、プレプリントとして公開し、専門誌に投稿中である。
PCICの自然な発展として、予測分布の損失に限定せず、ギブス損失やパラメータの事後平均をプラグインした損失を考えれば、誤判別率などを含む広い範囲の損失関数に一般化できることがわかる。この内容を一般化されたPCICとして定式化し数値実験と数学的証明により基礎付けた。また、ギブス分布を利用した情報秘匿の問題に応用した。
以上の研究の途上で、観測値の摂動の影響を事後共分散であらわす公式が重要な役割を占めることが明らかになった。この観点から、IJK近似（infinitesimal jackknife approximation) に関する先行研究とPCICを結びつけて考えることで、ベイズ事後分布に含まれる頻度論的情報の利用についてより深い理解が得られる。パラメータに関する影響関数を用いてgeneralization gapを表現する既存の情報量規準としてGICがあるが、尤度（一般に損失関数）に対するIJK近似を直接考えることで、CV（交差検証）からギブス損失に関するPCICを導くことができる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究内容については、理論的な広がりの面でも、数値実験についても、当初予定した範囲を超えて発展している。一方で、投稿した論文がリジェクト後に別の雑誌に再投稿中で採択に至っていない点、2本目の論文が完成に至っていない点が課題といえる。以上を総合して(2)に相当すると判断する。
|
| Strategy for Future Research Activity |
PCICに関する投稿中の論文の採択・雑誌掲載をめざす。また、KL情報量に限らずより広い範囲の損失関数に一般化した結果を論文としてまとめる。その後の展開の方向としては、(1)高次の補正、(2) informativeな事前分布の場合の補正 (3)いわゆるearly stoppingなど動的な推論への拡張、(4)能動学習への応用、などを考えている。
|
| Causes of Carryover |
新型コロナウイルス感染症流行への対応により海外出張や国際研究集会の開催に困難を生じたため次年度使用額が生じた。繰り越した額については次年度の設備費、最終年度での国際研究集会の開催等に利用する計画である。
|
Research Products
(4 results)
