• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

半解析リサンプリング法の開発と整備:信頼性評価への統計力学的アプローチ

Research Project

Project/Area Number 17H00764
Research InstitutionTokyo Institute of Technology

Principal Investigator

樺島 祥介  東京工業大学, 情報理工学院, 教授 (80260652)

Co-Investigator(Kenkyū-buntansha) 小渕 智之  京都大学, 情報学研究科, 准教授 (40588448)
Project Period (FY) 2017-04-01 – 2022-03-31
Keywordsリサンプリング / 交差検証法 / ブートストラップ法 / レプリカ法 / 平均場近似
Outline of Annual Research Achievements

以下の結果を得た.
【課題1】交差検証法:一般化線形モデルに対して,説明変数の集合を表す行列(計画行列)の各要素が必ずしも独立に同一の分布に従わない場合に交差検証誤差を近似的に評価する際の問題点とそれを解決するために必要な数理の調査を行った.その結果,推定に用いるモデルを推定すべき変数に関する(因数分解された)事前分布と(因数分解された)尤度関数の積に分解し,確率伝搬法とガウス近似を組み合わせることで計算困難を回避する期待値伝搬法を用いることが有効であることがわかった.特に,期待値伝搬法を用いると,その中にあらわれる補助変数を用いて1つ抜きの交差検証誤差を評価することができることがわかった.
【課題2】ブートストラップ法:一般化線形モデルに対して,説明変数の集合を表す行列(計画行列)の各要素が必ずしも独立に同一の分布に従わない場合にpair bootstrap を近似的に実施するための半解析的評価法を統計力学のレプリカ法と期待値伝搬法にもとづいて開発した.
【課題3】stability selection:昨年度までの研究で,L1正則化項付き線形回帰に対して説明変数の集合を表す行列(計画行列)の各要素が独立・同分布にしたがう場合にstablity selection を半解析的に実施する方法が得られている.これをL1正則化項付きの一般化線形モデルに対する独立・同分布仮定が必ずしも成り立たない場合の近似法に一般化する際の問題点とそれを解決するために必要な数理の洗い出しを行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

前年度までに得られた説明変数が独立で同一の分布から生成されていると仮定した場合の半解析的近似法に加えて,そうした仮定が必ずしも成立しない場合に同様の近似法を発展させるための目処がついた.これらは当初の計画に沿ったものであり概ね順調に進展していると考えられる.

Strategy for Future Research Activity

【課題1】交差検証法に関しては,期待値伝搬法にもとづき,説明変数が必ずしも独立で同一の分布から生成していない場合に,一般化線形モデルに対して1つ抜き交差検証誤差を半解析的に評価する近似法を開発する.【課題2】ブートストラップ法については,一般化線形モデルに対し,昨年度までに得られた,説明変数が必ずしも独立で同一の分布から生成していない場合に対する,pair bootstrap 法にもとづいてresidual bootstrap法に対する半解析的評価法を開発する.【課題3】stability selection については,説明変数が必ずしも独立で同一の分布から生成していない場合に対する半解析的評価法を開発する.

  • Research Products

    (16 results)

All 2020 2019

All Journal Article (7 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results,  Open Access: 3 results) Presentation (9 results) (of which Int'l Joint Research: 6 results,  Invited: 9 results)

  • [Journal Article] High-dimensional structure learning of binary pairwise Markov networks: A comparative numerical study2020

    • Author(s)
      Pensar Johan、Xu Yingying、Puranen Santeri、Pesonen Maiju、Kabashima Yoshiyuki、Corander Jukka
    • Journal Title

      Computational Statistics & Data Analysis

      Volume: 141 Pages: 62~76

    • DOI

      10.1016/j.csda.2019.06.012

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Semi-Analytic Resampling in Lasso2019

    • Author(s)
      Obuch Tomoyukii、Kabashima Yoshiyuki
    • Journal Title

      Journal of Machine Learning Research

      Volume: 20(70) Pages: 1-33

    • Peer Reviewed / Open Access
  • [Journal Article] Approximate matrix completion based on cavity method2019

    • Author(s)
      Noguchi Chihiro、Kabashima Yoshiyuki
    • Journal Title

      Journal of Physics A: Mathematical and Theoretical

      Volume: 52 Pages: 424004(1~19)

    • DOI

      10.1088/1751-8121/ab40de

    • Peer Reviewed
  • [Journal Article] Statistical mechanics of the minimum vertex cover problem in stochastic block models2019

    • Author(s)
      Suzuki Masato、Kabashima Yoshiyuki
    • Journal Title

      Physical Review E

      Volume: 100 Pages: 062101(1~9)

    • DOI

      10.1103/PhysRevE.100.062101

    • Peer Reviewed
  • [Journal Article] Objective and efficient inference for couplings in neuronal network2019

    • Author(s)
      Terada Yu、Obuchi Tomoyuki、Isomura Takuya、Kabashima Yoshiyuki
    • Journal Title

      Journal of Statistical Mechanics: Theory and Experiment

      Volume: 2019 Pages: 124010(1~14)

    • DOI

      10.1088/1742-5468/ab3219

    • Peer Reviewed
  • [Journal Article] Empirical Bayes method for Boltzmann machines2019

    • Author(s)
      Yasuda Muneki、Obuchi Tomoyuki
    • Journal Title

      Journal of Physics A: Mathematical and Theoretical

      Volume: 53 Pages: 014004(1~20)

    • DOI

      10.1088/1751-8121/ab57a7

    • Peer Reviewed / Open Access
  • [Journal Article] Cross validation in sparse linear regression with piecewise continuous nonconvex penalties and its acceleration2019

    • Author(s)
      Obuchi Tomoyuki、Sakata Ayaka
    • Journal Title

      Journal of Physics A: Mathematical and Theoretical

      Volume: 52 Pages: 414003(1~30)

    • DOI

      10.1088/1751-8121/ab3e89

    • Peer Reviewed / Open Access
  • [Presentation] ベイズ統計とスパース推定2020

    • Author(s)
      樺島 祥介
    • Organizer
      顕微鏡計測インフォマティックス 第1回研究会
    • Invited
  • [Presentation] 高次元確率モデルの扱いについて:統計物理の視点から2020

    • Author(s)
      小渕 智之
    • Organizer
      電子情報通信学会総合大会
    • Invited
  • [Presentation] On replica-BP correspondence in rota2onally invariant SG models2019

    • Author(s)
      Kabashima Yoshiyuki
    • Organizer
      40 years of Replica Symmetry Breaking
    • Int'l Joint Research / Invited
  • [Presentation] Semi-analytic resampling in generalized linear models2019

    • Author(s)
      Kabashima Yoshiyuki
    • Organizer
      Workshop on Science of Data Science
    • Int'l Joint Research / Invited
  • [Presentation] On replica-BP correspondence in rotationally invariant SG models2019

    • Author(s)
      Kabashima Yoshiyuki
    • Organizer
      Workshop on statistical physics and neural computation (SPNC-2019)
    • Int'l Joint Research / Invited
  • [Presentation] Cross validation in sparse linear regression with piecewise continuous nonconvex penalties and its acceleration2019

    • Author(s)
      Obuchi Tomoyuki, Sakata Ayaka
    • Organizer
      2019 Workshop on Statistical Physics of Disordered Systems and Its Applications (SPDSA2019)
    • Int'l Joint Research / Invited
  • [Presentation] Cross validation in sparse linear regression with piecewise continuous nonconvex penalties and its acceleration2019

    • Author(s)
      Obuchi Tomoyuki, Sakata Ayaka
    • Organizer
      Statistical Physics and Neural Computation (SPNC-2019)
    • Int'l Joint Research / Invited
  • [Presentation] Statistical mechanical analysis of sparse linear regression as a variable selection problem2019

    • Author(s)
      Obuchi Tomoyuki
    • Organizer
      2019 International Workshop on Glass Physics in Beijing (Institute of Theoretical Physics
    • Int'l Joint Research / Invited
  • [Presentation] ボルツマンマシンによる神経細胞集団の有効な非対称結合推定2019

    • Author(s)
      小渕 智之
    • Organizer
      情報数物研究会
    • Invited

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi