• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

属性付き関係データ解析のための予測モデルの検討と不確実性評価法の構築

Research Project

Project/Area Number 21K17718
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 60030:Statistical science-related
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

奥野 彰文  統計数理研究所, 統計基盤数理研究系, 助教 (40897972)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywordsニューラルネット / 確率的最適化 / 過剰パラメータ / 汎化ギャップ / 不確実性 / 収束レート / 関連性データ解析 / ノンパラメトリック統計
Outline of Research at the Start

回帰分析など既存のノンパラメトリック統計解析と異なり,属性付き関連性データ解析では属性ベクトルがRandom Design, Fixed Designのどちらに従うかによって予測値の分散が大きく異なってしまう.そこで本研究は,属性付き関連性データ解析の統計理論を構築し,属性付き関連性データ解析に適切な予測モデルを特定するとともに,その予測の信頼度を数理・実験の両面から評価し補正することを目的とする.

Outline of Annual Research Achievements

一般の設定においてニューラルネットなど万能近似能力を持つモデルを推定する場合に,入力と出力が可逆であるという制約をかけるとどの程度推定が難しくなるのか理論的に評価した結果が数理統計学の国際誌であるElectronic Journal of Statisticsに採択された.またニューラルネットを利用した順序回帰についての結果が計算機統計学の著名な国際誌であるJournal of Computational and Graphical Statisticsに採択された.力学系の予測問題について,緩和時系列を導入することで,よりシンプルなモデルで複雑な力学系を予測できる場合があることを示した論文がIEEE Accessに採択された.また申請者が以前出版した,リンク予測問題のロバスト化 (Okuno and Shimodaira, AISTATS2019)で利用したロバストダイバージェンスについて,より一般の確率モデルを利用した場合の効率的な最適化法についての結果がAnnals of the Institute of Statistical Mathematics (AISM)に採択された.AISMに採択された結果を利用し,ニューラルネットワークの新しい正則化法について議論した結果をプレプリント(arXiv:2308.02293)として公開している.

これらの研究成果について,日本統計学会連合大会および情報論的学習理論ワークショップなどで講演したほか,CMStatisticsなど3件の国際学会/ワークショップで英語での講演を行った.また得られた研究成果について,日本語での解説をJxiv.537, Jxiv.549, Jxiv.616, Jxiv.642などに公開している.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

計算機統計および数理統計の著名な国際学術誌であるJournal of Computational and Graphical StatisticsやElectronic Journal of Statisticsにそれぞれ主著論文が採択されたほか,IEEE Access, AISMにもそれぞれ主著論文が採択され,また単著のプレプリントを2件公開した.国際会議・国内会議それぞれで講演を行い,情報論的学習理論ワークショップ(IBIS2023)では優秀プレゼンテーション賞として表彰されている.これまでに執筆した論文の日本語での解説も4件公開し,当初の計画以上に進展していると考えている.

Strategy for Future Research Activity

昨年度に引き続き,ニューラルネットなど表現能力の高いモデルを用いた統計的推定の研究を進める.申請書に記述したグラフ埋め込み・リンク予測を利用する共同研究が進行中であり,リンク予測で利用したデータの相関構造を利用したクラスタリング法の基礎科学系研究への応用も進行中である.これらの共同研究を今後も精力的に進めるほか,前年度に投稿したニューラルネットの正則化に関する結果をリンク予測の問題などにも適用したいと考えている.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (31 results)

All 2024 2023 2022 2021 Other

All Journal Article (9 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results,  Open Access: 4 results) Presentation (21 results) (of which Int'l Joint Research: 8 results,  Invited: 2 results) Remarks (1 results)

  • [Journal Article] Minimax Analysis for Inverse Risk in Nonparametric Planer Invertible Regression2024

    • Author(s)
      Akifumi Okuno, Masaaki Imaizumi
    • Journal Title

      Electronic Journal of Statistics

      Volume: 18 Issue: 1 Pages: 355-394

    • DOI

      10.1214/23-ejs2202

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Autoregressive With Slack Time Series Model for Forecasting a Partially-Observed Dynamical Time Series2024

    • Author(s)
      Akifumi Okuno, Yuya Morishita, Yoh-ichi Mototake
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 24621-24630

    • DOI

      10.1109/access.2024.3365724

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] An Interpretable Neural Network-based Nonproportional Odds Model for Ordinal Regression2024

    • Author(s)
      Akifumi Okuno, Kazuharu Harada
    • Journal Title

      Journal of Computational and Graphical Statistics

      Volume: - Issue: 4 Pages: 1-10

    • DOI

      10.1080/10618600.2024.2321208

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Minimizing robust density power-based divergences for general parametric density models2024

    • Author(s)
      Akifumi Okuno
    • Journal Title

      Annals of the Institute of Statistical Mathematics

      Volume: - Issue: 5 Pages: 851-875

    • DOI

      10.1007/s10463-024-00906-9

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Dependence of variance on covariate design in nonparametric link regression2023

    • Author(s)
      Okuno Akifumi、Yano Keisuke
    • Journal Title

      Statistics & Probability Letters

      Volume: 193 Pages: 109716-109716

    • DOI

      10.1016/j.spl.2022.109716

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Finding r-II Sibling Stars in the Milky Way with the Greedy Optimistic Clustering Algorithm2023

    • Author(s)
      Hattori Kohei、Okuno Akifumi、Roederer Ian U.
    • Journal Title

      The Astrophysical Journal

      Volume: 946 Issue: 1 Pages: 48-48

    • DOI

      10.3847/1538-4357/acb93b

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A generalization gap estimation for overparameterized models via the Langevin functional variance2023

    • Author(s)
      Okuno Akifumi、Yano Keisuke
    • Journal Title

      Journal of Computational and Graphical Statistics

      Volume: 1 Issue: 4 Pages: 1-20

    • DOI

      10.1080/10618600.2023.2197488

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] A Study on Regression and Loss Functions for Multiscale k-Nearest Neighbour2021

    • Author(s)
      操 瑞行、田中 卓磨、奥野 彰文、下平 英寿
    • Journal Title

      Proceedings of the Annual Conference of JSAI

      Volume: JSAI2021 Issue: 0 Pages: 1G4GS2c01-1G4GS2c01

    • DOI

      10.11517/pjsai.JSAI2021.0_1G4GS2c01

    • NAID

      130008051520

    • Related Report
      2021 Research-status Report
  • [Journal Article] Extreme Multi-Label Classification of Images via Multiscale k-Nearest Neighbour2021

    • Author(s)
      田中 卓磨、奥野 彰文、下平 英寿
    • Journal Title

      Proceedings of the Annual Conference of JSAI

      Volume: JSAI2021 Issue: 0 Pages: 3G1GS2g03-3G1GS2g03

    • DOI

      10.11517/pjsai.JSAI2021.0_3G1GS2g03

    • NAID

      130008051853

    • Related Report
      2021 Research-status Report
  • [Presentation] A stochastic optimization approach to minimize robust density power-based divergences for general parametric density models2023

    • Author(s)
      Akifumi Okuno
    • Organizer
      ISI-ISM-ISSAS meeting
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Optimal nonparametric classification via radial distance2023

    • Author(s)
      Akifumi Okuno, Ruixing Cao, Kei Nakagawa, and Hidetoshi Shimodaira
    • Organizer
      16th International Conference of the ERCIM WG on Computational and Methodological Statistics (CMStatistics 2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Statistical estimation with integral-based loss functions2023

    • Author(s)
      Akifumi Okuno
    • Organizer
      International Symposium on Recent Advances in Theories and Methodologies for Large Complex Data
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] 非線形モデルの学習での高次変動正則化2023

    • Author(s)
      奥野彰文
    • Organizer
      核融合プラズマ学会2023
    • Related Report
      2023 Research-status Report
  • [Presentation] ニューラルネットを用いた解釈可能な非平行連続順序回帰モデルの提案2023

    • Author(s)
      奥野彰文、原田和治
    • Organizer
      統計関連学会連合大会2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 局所動径回帰を用いた最適なノンパラメトリック分類 と株価予測への応用2023

    • Author(s)
      奥野彰文、操瑞行、中川慧、下平英寿
    • Organizer
      統計関連学会連合大会2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 誤差の大きなデータに対するクラスタリング手法と天文学データへの 応用2023

    • Author(s)
      服部公平、奥野彰文
    • Organizer
      統計関連学会連合大会2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 一般の確率モデルに対するロバストダイバージェンスの最小化2023

    • Author(s)
      奥野彰文
    • Organizer
      情報論的学習理論ワークショップ2023
    • Related Report
      2023 Research-status Report
  • [Presentation] ランジュバン動力学を用いた過剰パラメータモデルの汎化ギャップ推定2022

    • Author(s)
      奥野彰文
    • Organizer
      統計関連学会連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] A Greedy and Optimistic Approach to Clustering with a Specified Uncertainty of Covariates2022

    • Author(s)
      奥野彰文
    • Organizer
      統計関連学会連合大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Minimax Analysis for Inverse Risk in Nonparametric Invertible Regression2022

    • Author(s)
      Akifumi Okuno
    • Organizer
      The 6th RIKEN-IMI-ISM-NUS-ZIB-MODAL-NHR Workshop on Advances in Classical and Quantum Algorithms for Optimization and Machine Learning
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] マルチスケール k-近傍法における外挿モデル の検討2021

    • Author(s)
      Cao, Ruixing, 田中 卓磨 , 奥野 彰文, 下平 英寿
    • Organizer
      統計関連学会連合大会
    • Related Report
      2021 Research-status Report
  • [Presentation] ノンパラメトリックリンク回帰における漸近分散の共変量依存性2021

    • Author(s)
      奥野 彰文, 矢野 恵佑
    • Organizer
      統計関連学会連合大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Time-contrastive learning を用いた多次元十分統計量を持つ指数型分布族情報源の非線形独立成分分析2021

    • Author(s)
      Jiang, Xinheng, 奥野 彰文, 下平 英寿
    • Organizer
      情報論的学習理論と機械学習ワークショップ
    • Related Report
      2021 Research-status Report
  • [Presentation] Nonparametric Invertible Regression Between Closed Hypercubes2021

    • Author(s)
      奥野彰文, 今泉 允聡
    • Organizer
      情報論的学習理論と機械学習ワークショップ
    • Related Report
      2021 Research-status Report
  • [Presentation] 汎関数分散を用いた過剰パラメータモデルの汎化誤差推定2021

    • Author(s)
      奥野彰文, 矢野 恵佑
    • Organizer
      情報論的学習理論と機械学習ワークショップ
    • Related Report
      2021 Research-status Report
  • [Presentation] ランジュバン動力学を用いた過剰パラメータモデルの汎化ギャップ推定2021

    • Author(s)
      奥野彰文
    • Organizer
      第6回 統計・機械学習若手シンポジウム
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] Nonparametric Link Regression and Its Theoretical Properties2021

    • Author(s)
      Okuno, Akifumi and Yano, Keisuke
    • Organizer
      International Conference on Econometrics and Statistics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] On estimating generalization gaps via the functional variance in overparameterized models2021

    • Author(s)
      Yano, Keisuke and Okuno, Akifumi
    • Organizer
      International Conference of the ERCIM WG on Computational and Methodological Statistics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Minimax Analysis for Inverse Risk in Nonparametric Planer Invertible Regression2021

    • Author(s)
      Imaizumi, Masaaki and Okuno, Akifumi
    • Organizer
      International Conference of the ERCIM WG on Computational and Methodological Statistics
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Estimation of Invertible Functions2021

    • Author(s)
      Okuno, Akifumi
    • Organizer
      ISI-ISM-ISSAS Joint Conference 2022
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Remarks] Greedy and Optimistic Clusteringの実験データとスクリプト

    • URL

      https://github.com/oknakfm/GOC

    • Related Report
      2022 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi