• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

予測概念の多様性に対応した情報量規準の開発:計算統計的アプローチ

Research Project

Project/Area Number 21K12067
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

伊庭 幸人  統計数理研究所, 統計基盤数理研究系, 教授 (30213200)

Co-Investigator(Kenkyū-buntansha) 矢野 恵佑  統計数理研究所, 統計基盤数理研究系, 准教授 (20806070)
Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Keywordsベイズ統計 / MCMC / ブートストラップ法 / 因果推論 / 正定値カーネル / モデル選択 / sensitivity / 共変量シフト / Bayesian statistics / causal inference / covariate shift / Markov chain Monte Carlo / model selection / WAIC / PCIC / 情報量規準 / マルコフ連鎖モンテカルロ法
Outline of Research at the Start

本研究計画では,データに基づいて最適な統計モデルを選択する規準(情報量規準)を数値計算アルゴリズムを含めて開発する.とくに,(1) マルコフ連鎖モンテカルロ法(MCMC)のアウトプットを利用して多様な状況に対応したモデル選択を行う手法を開発し, (2) 因果推論と予測をつなぐような手法を計算統計的な観点から発展させる.

Outline of Annual Research Achievements

重み付き推論についてのモデル選択規準(PCIC for weighted inference)に関する研究成果がNeural Computationに掲載された。また、分担者による関連論文が査読付き雑誌に掲載された。より一般の評価関数に拡張した情報量規準を提案した論文(arXiv:2206.05887v1)については修正・補足の上で別の雑誌に再投稿し査読中である。
新たな方向として、各観測の対数尤度のなす行列(W行列と呼ぶ)の性質とその応用を研究した。主要な成果をあげると、(1)W行列の大きな固有値に対応する固有空間(essential subspaceと呼ぶ)がベイズ推定量の感度解析と頻度論的で重要な役割を持つ、(2)W行列は正定値カーネル(W-kernel)として解釈することが可能で、機械学習で提案されているFisherカーネルはWカーネルの近似と解釈できる、(3)W行列の固有値問題はW-kernelを用いたカーネルPCAとして定式化できる、(4)W行列の対角和は情報量規準WAICのバイアス補正項になっており、それを通じてこれまで行ってきた情報量規準の研究と関係している、(5)近似的ブートストラップ法においてessential subspaceへの射影が計算の効率化に有用である、(6)機械学習のカーネル法で用いられる不完全コレスキー分解の方法を応用することでW行列の固有値問題の効率的な数値計算が可能である、となる。
上記の成果をプレプリント (arXiv:2311.13017) にまとめて公開した。さらに改訂したものを査読付き雑誌に投稿する予定である。
研究代表者と分担者は研究成果とその背景について学術的会合で講演した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

内容的には予想を上回る範囲に理論が展開でき、当初の計画以上に進展しているといえる。ただし、リジェクトされた論文が査読中で採択に至っていない点、海外の研究者を招聘しての研究集会の開催を行っていない点があるので、これらを考慮して(2)と判断した。

Strategy for Future Research Activity

投稿中の論文の採択をめざす。また、W行列に関するプレプリントを投稿する。可能であれば、海外の研究者を招聘して研究集会を行うか、もしくは、海外に出張して成果を発表する。これらが難しい場合は、国内の学会、研究会等での発表によってこれに替える。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (9 results)

All 2024 2023 2022 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (7 results) (of which Invited: 4 results)

  • [Journal Article] Posterior Covariance Information Criterion for Weighted Inference.2023

    • Author(s)
      Yukito Iba, Keisuke Yano
    • Journal Title

      Neural Computation

      Volume: 35 Issue: 7 Pages: 1340-1361

    • DOI

      10.1162/neco_a_01592

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] A generalization gap estimation for overparameterized models via the Langevin functional variance2023

    • Author(s)
      Okuno Akifumi、Yano Keisuke
    • Journal Title

      Journal of Computational and Graphical Statistics

      Volume: 1 Issue: 4 Pages: 1-20

    • DOI

      10.1080/10618600.2023.2197488

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Presentation] 計算統計の観点からのベイズ統計と頻度論の融合 ― Bayesian IJKとWカーネル2024

    • Author(s)
      伊庭 幸人
    • Organizer
      AI・データ利活用研究会 第63回(大阪大学 数理・データ科学教育研究センター)
    • Related Report
      2023 Research-status Report
  • [Presentation] 重み付き推論における汎化性能推定のための事後共分散型情報量規準2023

    • Author(s)
      矢野 恵佑
    • Organizer
      大阪大学 数理・データ科学セミナー データ科学セミナーシリーズ 第58回
    • Related Report
      2023 Research-status Report
  • [Presentation] 高次元・無限次元モデルにおける予測分布2022

    • Author(s)
      矢野 恵佑
    • Organizer
      日本統計学会各賞受賞者記念講演
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] 擬ベイズ事後分布に基づく予測評価のための情報量規準2021

    • Author(s)
      矢野恵佑, 伊庭幸人
    • Organizer
      2021年度統計関連学会連合大会(一般講演).
    • Related Report
      2021 Research-status Report
  • [Presentation] 予測分布論の最近の進展2021

    • Author(s)
      矢野恵佑
    • Organizer
      日本数学会(特別講演).
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 予測の情報量規準2021

    • Author(s)
      矢野恵佑
    • Organizer
      情報計測オンラインセミナー
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] On estimating generalization gaps via the functional variance in overparameterized models2021

    • Author(s)
      Yano, K.
    • Organizer
      CMStatistics2021
    • Related Report
      2021 Research-status Report
    • Invited

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi