• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多段階の学習に基づくヒューリスティクス法の解析:統計力学的アプローチ

研究課題

研究課題/領域番号 21K21310
研究種目

研究活動スタート支援

配分区分基金
審査区分 1002:人間情報学、応用情報学およびその関連分野
研究機関東京大学

研究代表者

高橋 昂  東京大学, 大学院理学系研究科(理学部), 助教 (90906661)

研究期間 (年度) 2021-08-30 – 2024-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード統計力学 / 半教師あり学習 / レプリカ法 / 自己学習 / 疑似ラベル / アンサンブル学習 / 近似確率伝搬法 / 機械学習 / モデル圧縮
研究開始時の研究の概要

本研究では、半教師あり学習やモデル圧縮などの、多段階の学習プロセスに基づくヒューリスティクス法の性質を統計物理学の手法を用いて解析する。特にFranz-Parisiポテンシャルの計算技法との関連に注目して解析を行う。これにより、どのような場面でどの程度これらのヒューリスティクス法が有用であるかを系統的/定量的に明らかにし、分析方針の策定や分析結果の解釈の場面でデータ分析者の参照に耐える理論的知見を構築することを目指す。

研究成果の概要

本研究の目的は、擬似的なラベルを学習済のモデルに基づいてデータ点に付与し、それを用いて改めて新たなモデルを学習する操作を繰り返すという自己学習アルゴリズムの挙動を解明することであった。そのために、2クラスの分類の問題において線形モデルを当該手法で学習した際の挙動を、統計力学の平均場理論を用いて解析した。これにより、更新回数に応じて最適なアプローチが異なるということ明らかとし、当該アルゴリズムを用いて効率的に汎化性能を向上させるためのアプローチを整理した。

研究成果の学術的意義や社会的意義

データ科学の実務的な場面ではラベル付きデータが十分にあるという理想的な設定にないことは一般的で、分析者は様々なヒューリスティクスを用いて問題に対処している。そのなかで多段階の学習に基づくヒューリスティクスはアイディアを実装に繋げやすく、近年盛んに用いられている。本研究はその流れに沿い、そのような多段階の学習に基づくヒューリスティクスの利用方法に関する示唆を与えるものであり、実務に向けた理論的知見を新たに加えたという意義があると思われる。

報告書

(4件)
  • 2023 実績報告書   研究成果報告書 ( PDF )
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (12件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (3件) (うち国際共著 3件、 査読あり 3件) 学会発表 (9件) (うち国際学会 3件、 招待講演 1件)

  • [雑誌論文] Compressed Sensing Radar Detectors Under the Row-Orthogonal Design Model: A Statistical Mechanics Perspective2023

    • 著者名/発表者名
      Na Siqi、Huang Tianyao、Liu Yimin、Takahashi Takashi、Kabashima Yoshiyuki、Wang Xiqin
    • 雑誌名

      IEEE Transactions on Signal Processing

      巻: 71 ページ: 2668-2682

    • DOI

      10.1109/tsp.2023.3297743

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Role of Bootstrap Averaging in Generalized Approximate Message Passing2023

    • 著者名/発表者名
      Takahashi Takashi
    • 雑誌名

      IEEE International Symposium on Information Theory (ISIT)

      巻: 2023 ページ: 767-772

    • DOI

      10.1109/isit54713.2023.10206490

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Average case analysis of Lasso under ultra sparse conditions2023

    • 著者名/発表者名
      Koki Okajima, Xiangming Meng, Takashi Takahashi, Yoshiyuki Kabashima
    • 雑誌名

      Proceedings of The 26th International Conference on Artificial Intelligence and Statistics, PMLR

      巻: 206 ページ: 11317-11330

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [学会発表] 交互最適化法のダイナミクスについて2024

    • 著者名/発表者名
      岡島光希, 髙橋昂
    • 学会等名
      日本物理学会2024年春季大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 疑似ラベルの構成法について2024

    • 著者名/発表者名
      髙橋昂
    • 学会等名
      日本物理学会2024年春季大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Exploring bagging with structured data: Insights from precise asymptotics2023

    • 著者名/発表者名
      Takashi Takahashi
    • 学会等名
      Workshop on Learning and Inference from Structured Data: Universality, Correlations and Beyond | (smr 3850)
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] A Statistical Mechanics Analysis of Iterative Self-Training2023

    • 著者名/発表者名
      Takashi Takahashi
    • 学会等名
      STATPHYS28
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 高次元モデルにおける不均衡データ分類2023

    • 著者名/発表者名
      髙橋昂
    • 学会等名
      日本物理学会第78回年次大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Sharp Asymptotics of Self-training with Linear Classifier2022

    • 著者名/発表者名
      Takashi Takahashi
    • 学会等名
      Youth in High-Dimensions: Recent Progress in Machine Learning, High-Dimensional Statistics and Inference
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 反復型自己学習アルゴリズムのレプリカ解析2022

    • 著者名/発表者名
      髙橋昂
    • 学会等名
      日本物理学会2022年秋季大会 2022年9月14日
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ブートストラップ平均化された不偏推定量の統計力学的解析2022

    • 著者名/発表者名
      髙橋昂
    • 学会等名
      日本物理学会2023年春季大会 2023年3月25日
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 半教師あり学習の平衡統計力学的解析2021

    • 著者名/発表者名
      髙橋昂
    • 学会等名
      日本物理学会2021年秋季大会
    • 関連する報告書
      2021 実施状況報告書

URL: 

公開日: 2021-10-22   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi