• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

統計力学的計算手法に基づくモデル選択規準の開発研究

Research Project

Project/Area Number 22KJ1358
Project/Area Number (Other) 21J22128 (2021-2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2021-2022)
Section国内
Review Section Basic Section 12040:Applied mathematics and statistics-related
Research InstitutionThe University of Electro-Communications

Principal Investigator

村山 一明  電気通信大学, 情報理工学研究科, 特別研究員(DC1)

Project Period (FY) 2023-03-08 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Keywords統計力学 / 相転移 / Bayes 推論 / モデル選択 / 機械学習
Outline of Research at the Start

本研究では, 統計科学において使用される統計モデルを統計力学的手法を用いて解析する. 特に統計モデルの相転移に関する性質を, 物理学の観点から解明する. このような解析を通して, 実データのモデリングやデータ解析において, 相転移点近傍においても安定した推論や情報抽出を行うための知見を提供することを目標とする.

Outline of Annual Research Achievements

2021, 2022年度に引き続き, スパース推定の枠組みである Sparse Bayesian Learning (SBL) を利用した線形回帰モデルとそれに関連するモデルの性質を研究した. これまでに推定性能のデータ数依存性と事前分布に含まれるハイパーパラメーター依存性を漸近的に解析していた. 前年度は後者の依存性に関して, 一部のハイパーパラメーター領域で解析ができなかった. これは解析途中で直面する数値積分の困難に起因する. 2023年度は数値積分の改良を行い, より広範なハイパーパラメーター領域において推定性能を解析した. またSBLと類似の事前分布の構造をもつ variance gamma 事前分布を用いた場合の推定性能も解析した. 両者の事前分布には分布の伸縮を表すスケールパラメーターが含まれる. 両者の手法に関して推定性能のスケールパラメーター依存性を比較した. その結果 variance gamma 分布はSBLよりも推定誤差を下げられる場合があることを確認した.
研究期間全体を通じて, 統計力学的手法を用いて物理学の観点からSBLとその周辺のモデルを研究した. 得られた結果は推定性能などの性質と, (非線形)回帰分析に関するものに分けられる. 前者ではSBLの推定性能に関してデータ数とハイパーパラメーター依存性を漸近的に調べた. 推定誤差を小さくできる領域とできない領域が分かれており, 各領域内で推定誤差は頑強な傾向があることを確認した. また variance gamma 事前分布はSBLよりも推定誤差を小さくできる場合がある. 回帰分析ではSBLに関連する variance gamma 事前分布, 平均場近似, モデル選択を用いて, 推定するパラメーター数がデータ数より多い状況において過学習を回避する手法を提案した.

Report

(4 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Products Report
  • Research Products

    (11 results)

All 2024 2023 2022 2021 Other

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (8 results) (of which Int'l Joint Research: 2 results) Remarks (1 results)

  • [Journal Article] Statistical physical view of statistical inference in Bayesian linear regression model2024

    • Author(s)
      Kazuaki Murayama
    • Journal Title

      Physical Review E

      Volume: 110 Issue: 3

    • DOI

      10.1103/physreve.110.034118

    • Related Report
      Products Report
    • Peer Reviewed
  • [Journal Article] Sparse Bayesian learning with weakly informative hyperprior and extended predictive information criterion2021

    • Author(s)
      Murayama Kazuaki、Kawano Shuichi
    • Journal Title

      IEEE Transactions on Neural Networks and Learning Systems

      Volume: - Issue: 9 Pages: 1-13

    • DOI

      10.1109/tnnls.2021.3131357

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Presentation] variance gamma事前分布とt-事前分布を用いたスパースBayes線形回帰モデルにおける推定性能のスケールパラメーター依存性の比較2024

    • Author(s)
      村山一明
    • Organizer
      電子情報通信学会, 情報理論研究会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Asymptotic Estimation Performance of Linear Regression Model with Sparse Bayesian Learning as Both Samples and Signals Approach Infinity2023

    • Author(s)
      Kazuaki Murayama
    • Organizer
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Phase Diagram for Estimation Performance of Linear Regression Model with Sparse Bayesian Learning2023

    • Author(s)
      Kazuaki Murayama
    • Organizer
      Japan-Singapore(NUS) Joint seminar on JSPS Bilateral program
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] t-分布を用いたスパース Bayes 線形回帰モデルに関する推定性能2023

    • Author(s)
      村山一明
    • Organizer
      電子情報通信学会, 情報理論研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] スパース Bayes 線形回帰における相転移現象の統計力学的解析2022

    • Author(s)
      村山一明
    • Organizer
      第16回日本統計学会春季集会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Sparse Bayesian Learning による線形回帰に関する相転移のレプリカ解析2022

    • Author(s)
      村山一明
    • Organizer
      日本物理学会 第77回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 統計力学によるBayes圧縮センシングの典型性能評価2021

    • Author(s)
      村山一明
    • Organizer
      2021年度 統計関連学会連合大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Automatic Relevance Determination 事前分布による信号復元性能の統計力学的解析2021

    • Author(s)
      村山一明
    • Organizer
      日本物理学会 2021 年秋季大会
    • Related Report
      2021 Annual Research Report
  • [Remarks] 一般公開したソースコード

    • URL

      https://doi.org/10.24433/CO.6761210.v1

    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-05-27   Modified: 2025-03-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi