• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Research-status Report

属性付き関係データ解析のための予測モデルの検討と不確実性評価法の構築

Research Project

Project/Area Number 21K17718
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

奥野 彰文  統計数理研究所, 統計思考院, 助教 (40897972)

Project Period (FY) 2021-04-01 – 2025-03-31
Keywords過剰パラメータ / 汎化ギャップ / 不確実性 / ニューラルネット
Outline of Annual Research Achievements

ニューラルネットなど過剰パラメータモデルに対して,その予測がどの程度信頼できるのか,新規のデータに対する当てはまりを示す汎化誤差を効率的に推定するためにWAICと呼ばれる情報量規準が利用できることを理論的に示し,その効率的な計算法を提案した成果が統計学のトップジャーナルの一つであるJournal of Computational and Graphical Statisticsに採択された.またその特殊例として当該課題の主軸にあるリンク予測問題を考え,漸近分布の特殊な性質について調べた成果がStatistics and Probability Lettersに採択された.リンク予測と同様にデータ間の類似性を考慮してデータの関係性を類推する方法にクラスタリングがあるが,天文学の実応用を基にしてデータそのものの不確実性を利用するクラスタリング法を提案した手法論文をプレプリントとして公開したほか,その成果を実際の天文データへ応用した論文が先行してThe Astrophysical Journalに採択された.また昨年度投稿したノンパラメトリック回帰のバイアス補正法Local Radial Logistic Regressionに関して収束レートを導出し,追記・更新したプレプリントを公開した.

新機軸の研究として,ニューラルネットワークを用いて共変量から連続な応答変数の条件付き累積分布関数を推定する方法を提案し,その単調性に関して論じたプレプリントを公開し,セミナーなどでの講演を行った.メールやセミナーなどでのコメントを反映させ現在投稿準備中である.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

これまでの研究成果をまとめた論文の査読が終わり,複数本の論文が採択されたほか,本研究に関連した様々な設定での新研究を開始できた.現在投稿論文が査読中であるほか,採択済み論文や公開済みプレプリントの後続研究が複数進行中である.

Strategy for Future Research Activity

昨年度に引き続き,グラフ埋め込み・リンク予測に限定しないより一般の枠組みとしての過剰パラメータモデルの汎化ギャップ推定の研究を進める.特に,応用面では畳み込みニューラルネットワークなどのより巨大な予測モデルをより現実的な画像データなどで学習する場合でも提案法がうまく動作するかどうかを実験的に検証する.また理論的に用いられる様々な仮定に関して,実際のニューラルネットなど過剰パラメータモデルで仮定が満たされるのかを調べ,より現実に即した信頼度評価手法を提案する.

  • Research Products

    (7 results)

All 2023 2022 Other

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (3 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Journal Article] Dependence of variance on covariate design in nonparametric link regression2023

    • Author(s)
      Okuno Akifumi、Yano Keisuke
    • Journal Title

      Statistics & Probability Letters

      Volume: 193 Pages: 109716~109716

    • DOI

      10.1016/j.spl.2022.109716

    • Peer Reviewed / Open Access
  • [Journal Article] Finding r-II Sibling Stars in the Milky Way with the Greedy Optimistic Clustering Algorithm2023

    • Author(s)
      Hattori Kohei、Okuno Akifumi、Roederer Ian U.
    • Journal Title

      The Astrophysical Journal

      Volume: 946 Pages: 48~48

    • DOI

      10.3847/1538-4357/acb93b

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A generalization gap estimation for overparameterized models via the Langevin functional variance2023

    • Author(s)
      Okuno Akifumi、Yano Keisuke
    • Journal Title

      Journal of Computational and Graphical Statistics

      Volume: - Pages: 1~20

    • DOI

      10.1080/10618600.2023.2197488

    • Peer Reviewed
  • [Presentation] ランジュバン動力学を用いた過剰パラメータモデルの汎化ギャップ推定2022

    • Author(s)
      奥野彰文
    • Organizer
      統計関連学会連合大会
  • [Presentation] A Greedy and Optimistic Approach to Clustering with a Specified Uncertainty of Covariates2022

    • Author(s)
      奥野彰文
    • Organizer
      統計関連学会連合大会
  • [Presentation] Minimax Analysis for Inverse Risk in Nonparametric Invertible Regression2022

    • Author(s)
      Akifumi Okuno
    • Organizer
      The 6th RIKEN-IMI-ISM-NUS-ZIB-MODAL-NHR Workshop on Advances in Classical and Quantum Algorithms for Optimization and Machine Learning
    • Int'l Joint Research
  • [Remarks] Greedy and Optimistic Clusteringの実験データとスクリプト

    • URL

      https://github.com/oknakfm/GOC

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi