• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

正則な深層学習モデルの構築とその応用

研究課題

研究課題/領域番号 23K21699
補助金の研究課題番号 21H03503 (2021-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2021-2023)
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関国立情報学研究所

研究代表者

杉山 麿人  国立情報学研究所, 情報学プリンシプル研究系, 准教授 (10733876)

研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2024年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2021年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワード機械学習 / 深層学習 / 正則モデル / 隣接代数 / 情報幾何学 / 統計モデル / テンソル分解 / テンソルネットワーク / 量子化学 / テンソル低ランク近似 / ブラインド信号源分離
研究開始時の研究の概要

本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル(パラメータに関するフィッシャー情報量行列が特異行列になるモデル)に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難である。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。

研究実績の概要

本研究では、正則な統計モデルによる深層構造の実現を目指す。深層学習が成功を収めているが、既存のアプローチは特異な統計モデル(パラメータに関するフィッシャー情報量行列が特異行列になるモデル)に基づくことが知られている。しかし、特異なモデルでは、モデルの理論解析や最適化が難しいため、様々な深層モデルや学習アルゴリズムが乱立しており、統一的な品質保証や性能分析が困難という問題がある。そこで本研究では、パラメータ空間の座標系に直接深層構造を実装する、というアイデアで、特異ではない正則モデルで深層構造を実現する。これによって、特異モデルに起因する様々な問題を一気に解決する。
2023年度は、昨年度から引き続き(1)正則な統計モデルの理論的性質の解析、(2)実践的な機械学習手法の構築、そして(3)実問題における評価に取り組み、それぞれの項目で研究成果を挙げることに成功した。特筆すべき成果として、情報幾何学を用いた行列・テンソル分解の手法の理論的解析および実践的アルゴリズムの構築を進め、テンソル分解を正則な統計モデル上の学習として捉えた新規手法として「テンソル多体近似」と呼ばれる手法を確立した。この手法では、テンソルの各軸方向(モード)間の関連を陽にモデリングすることで、テンソルを低次のテンソル(ベクトルや行列)の積へと分解するとともに、統計モデルの正則性から凸最適化が保証されている。実践的な機械学習手法となっており、かつ既存の主要アプローチの一つであるテンソルネットワークとの関係も理論的に解析することに成功しており、今後の拡張性も高い。さらに手法の解釈性も高く、道路の交通データをはじめとした実世界での様々なデータにおいて、それぞれのドメインにおける背景知識を利用した多体近似によるモデリングを実施し、精度高くテンソル近似が実現できることを実験的に検証した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本研究では、モデルそのものに深層構造を組み込むのではなく、モデルが持つパラメータ空間上で深層構造を構成する、というアプローチによって、深層構造を持つ正則な統計モデルの存在を理論的に示すとともに、モデルの構成法を確立し、その構成法にしたがって実践的な機械学習手法を構築することを目的として研究を進めている。より具体的には、研究全体を通して、以下の3点を明らかにする:(1) 統計学や情報幾何学、情報理論を用いることで、深層構造を備えた正則な統計モデルの理論的性質を明らかにする。(2) 深層構造を備えた正則な統計モデルに基づく実践的な機械学習手法を構築し、標準的な機械学習タスクにおいて性能を検証することで有用性を明らかにする。(3) 量子化学や計算化学、生命科学といった実問題に適用することで、応用問題における有用性を明らかにする。
これまでに、情報幾何学を用いた行列・テンソル分解手法であるテンソル多体近似と呼ばれる手法を確立した。研究項目(1)として、この理論解析を進め、テンソル分解を正則な統計モデル上の学習として捉えることで学習を凸最適化として定式化し、初期値に関わらず必ず大域的な最適解が求まることを示すとともに、関連したモデルであるテンソルネットワークとの関係を理論的に示すことに成功した。さらに、研究項目(2)として、効率的なアルゴリズムを構築し、実験においてその有効性を確認した。さらに、実世界のデータにおける有効性の検証も実施済みであり、研究項目(3)についても達成されたと考えられる。この成果は、機械学習分野のトップ国際会議 Neural Information Processing Systems (NeurIPS) で発表した。

今後の研究の推進方策

これまでテンソルを主な対象として研究を進めてきたが、より一般の分類問題などを対象とした学習モデルについての理論解析、および実践的手法の開発を進める。分類モデルにおいても、独立に高次相関に着目したモデリングの研究が進んでおり、また関連したアプローチとして分散を低次の分散の和へと分解する手法も知られている。そこで、本研究で開発を進めてきたアプローチとこれらの既存手法との関係を理論・実践の両面から解析することで、提案アプローチの位置付けを明確化する。
また、パラメータ空間を移動した時のモデルの振る舞いの解析を同時に進める。特異モデルによる非凸最適化では局所解が大量に存在するが、うまく関数の不変性を用いてパラメータを変換することで、異なる初期値から学習した2つのモデルの間のパラメータの線形補完が可能となるLinear Mode Connectivity (LMC)と呼ばれる現象が知られている。この現象を積極的に用いることで、モデルマージと呼ばれる複数モデルのパラメータ上での統合による性能向上を実現することが可能となる。そこで、情報幾何学を用いることで、LMCやモデルマージと提案アプローチの関係を探る。様々なドメインでの実データで性能を検証することで、応用問題における有用性を明らかにする。

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (38件)

すべて 2024 2023 2022 2021 その他

すべて 国際共同研究 (5件) 雑誌論文 (15件) (うち国際共著 2件、 査読あり 15件、 オープンアクセス 13件) 学会発表 (18件) (うち国際学会 6件、 招待講演 1件)

  • [国際共同研究] The University of Sydney(オーストラリア)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] The University of Sydney/University of New South Wales(オーストラリア)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] ETH Zurich(スイス)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] The University of Sydney(オーストラリア)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] ETH Zurich(スイス)

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] How graph features from message passing affect graph classification and regression?2024

    • 著者名/発表者名
      Yamada Masatsugu、Sugiyama Mahito
    • 雑誌名

      Intelligent Data Analysis

      巻: 28 号: 1 ページ: 57-75

    • DOI

      10.3233/ida-227190

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Unsupervised Tensor Based Feature Extraction From Multivariate Time Series2023

    • 著者名/発表者名
      Matsue Kiyotaka、Sugiyama Mahito
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 116277-116295

    • DOI

      10.1109/access.2023.3326073

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Molecular Graph Generation by Decomposition and Reassembling2023

    • 著者名/発表者名
      Yamada Masatsugu、Sugiyama Mahito
    • 雑誌名

      ACS Omega

      巻: 8 号: 22 ページ: 19575-19586

    • DOI

      10.1021/acsomega.3c01078

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Many-body Approximation for Non-negative Tensors2023

    • 著者名/発表者名
      Kazu Ghalamkari、Mahito Sugiyama、Yoshinobu Kawahara
    • 雑誌名

      Advances in Neural Information Processing Systems (NeurIPS 2023)

      巻: 36 ページ: 1-26

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Non-negative low-rank approximations for multi-dimensional arrays on statistical manifold2023

    • 著者名/発表者名
      Ghalamkari Kazu, Sugiyama Mahito
    • 雑誌名

      Information Geometry

      巻: - 号: 1 ページ: 257-292

    • DOI

      10.1007/s41884-023-00100-5

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Artificial neural network encoding of molecular wavefunctions for quantum computing2023

    • 著者名/発表者名
      Hagai Masaya、Sugiyama Mahito、Tsuda Koji、Yanai Takeshi
    • 雑誌名

      Digital Discovery

      巻: - 号: 3 ページ: 634-650

    • DOI

      10.1039/d2dd00093h

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel2023

    • 著者名/発表者名
      Kanoh, R.、Sugiyama, M.
    • 雑誌名

      The 11th International Conference on Learning Representations (ICLR 2023)

      巻: -

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A drive-by bridge inspection framework using non-parametric clusters over projected data manifolds2022

    • 著者名/発表者名
      Cheema P.、Alamdari M. Makki、Chang K.C.、Kim C.W.、Sugiyama M.
    • 雑誌名

      Mechanical Systems and Signal Processing

      巻: 180 ページ: 109401-109401

    • DOI

      10.1016/j.ymssp.2022.109401

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Unsupervised feature extraction from multivariate time series for outlier detection2022

    • 著者名/発表者名
      Matsue Kiyotaka、Sugiyama Mahito
    • 雑誌名

      Intelligent Data Analysis

      巻: 26 号: 6 ページ: 1451-1467

    • DOI

      10.3233/ida-216128

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Fast Rank-1 NMF for Missing Data with KL Divergence2022

    • 著者名/発表者名
      Ghalamkari, K.、Sugiyama, M.
    • 雑誌名

      Proceedings of the 25th International Conference on Artificial Intelligence and Statistics (AISTATS 2021))

      巻: 151 ページ: 2927-2940

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Neural Tangent Kernel Perspective of Infinite Tree Ensembles2022

    • 著者名/発表者名
      Kanoh, R.、Sugiyama, M.
    • 雑誌名

      Proceedings of the 10th International Conference on Learning Representations (ICLR 2022)

      巻: -

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Hierarchical Probabilistic Model for Blind Source Separation via Legendre Transformation2021

    • 著者名/発表者名
      Luo, S.、Azizi, L.、Sugiyama, M.
    • 雑誌名

      Proceedings of the 37th Conference on Uncertainty in Artificial Intelligence (UAI 2021)

      巻: 161 ページ: 312-321

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Unsupervised Tensor based Feature Extraction and Outlier Detection for Multivariate Time Series2021

    • 著者名/発表者名
      Matsue Kiyotaka、Sugiyama Mahito
    • 雑誌名

      Proceedings of the 8th IEEE International Conference on Data Science and Advanced Analytics (DSAA 2021)

      巻: - ページ: 1-12

    • DOI

      10.1109/dsaa53316.2021.9564117

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Investigating Overparameterization for Non-Negative Matrix Factorization in Collaborative Filtering2021

    • 著者名/発表者名
      Kawakami Yuhi、Sugiyama Mahito
    • 雑誌名

      Proceedings of the 15th ACM Conference on Recommender Systems (RecSys 2021), Late-Breaking Results Track

      巻: - ページ: 685-690

    • DOI

      10.1145/3460231.3478854

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Fast Tucker Rank Reduction for Non-Negative Tensors Using Mean-Field Approximation2021

    • 著者名/発表者名
      Ghalamkari, K.、Sugiyama, M.
    • 雑誌名

      Advances in Neural Information Processing Systems (NeurIPS 2021)

      巻: 34 ページ: 443-454

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Energy-Based Non-Negative Tensor Factorization via Multi-Body Modeling2023

    • 著者名/発表者名
      Kazu Ghalamkari、Mahito Sugiyama
    • 学会等名
      ICML 2023 Workshop Duality Principles for Modern Machine Learning
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Investigating Axis-Aligned Differentiable Trees through Neural Tangent Kernels2023

    • 著者名/発表者名
      Ryuichi Kanoh、Mahito Sugiyama
    • 学会等名
      ICML 2023 Workshop Differentiable Almost Everything
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 非負テンソルの多体モデリング2023

    • 著者名/発表者名
      ガラムカリ和、杉山麿人
    • 学会等名
      第37回人工知能学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 任意の二分木構造に対するTree Neural Tangent Kernel2023

    • 著者名/発表者名
      加納龍一、杉山麿人
    • 学会等名
      第37回人工知能学会全国大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] グラフの識別や回帰におけるメッセージパッシングが与える影響の解析2023

    • 著者名/発表者名
      山田 正嗣、杉山 麿人
    • 学会等名
      人工知能学会 第125回人工知能基本問題研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 機械学習におけるパラメータ空間の再考2023

    • 著者名/発表者名
      杉山麿人
    • 学会等名
      創発的研究支援事業 融合の場2023 深層学習がもたらすブレイクスルーと可能性
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Are abstract syntax trees natural? On the statistical predictability of source-code ASTs2023

    • 著者名/発表者名
      パツァキ・プロフィアペトル、杉山麿人
    • 学会等名
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Non-negative low-rank approximations for multi-dimensional arrays on statistical manifold2022

    • 著者名/発表者名
      Kazu Ghalamkari、Mahito Sugiyama
    • 学会等名
      International Conference on Information Geometry for Data Science (IG4DS)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] パーセプトロン学習におけるセル移植2022

    • 著者名/発表者名
      石﨑龍之介、杉山麿人
    • 学会等名
      第25回情報論的学習理論ワークショップ(IBIS2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] テンソルの部分二体相互作用近似2022

    • 著者名/発表者名
      ガラムカリ和、杉山麿人
    • 学会等名
      第25回情報論的学習理論ワークショップ(IBIS2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 任意の二分木構造に対するTree Neural Tangent Kernel2022

    • 著者名/発表者名
      加納龍一、杉山麿人
    • 学会等名
      第25回情報論的学習理論ワークショップ(IBIS2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 平均場近似に基づく正テンソルの最良ランク1近似2021

    • 著者名/発表者名
      ガラムカリ和、杉山麿人
    • 学会等名
      第35回人工知能学会全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] グラフマイニングとモンテカルロ木探索を用いた分子グラフ生成2021

    • 著者名/発表者名
      山田正嗣、杉山麿人
    • 学会等名
      人工知能学会 第117回人工知能基本問題研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Neural Tangent Kernelを用いたSoft Tree Ensembleの解析2021

    • 著者名/発表者名
      加納龍一、杉山麿人
    • 学会等名
      第24回情報論的学習理論ワークショップ(IBIS2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 協調フィルタリングにおける非負行列因子分解の過剰パラメータ化に関する研究2021

    • 著者名/発表者名
      川上雄飛、杉山麿人
    • 学会等名
      第24回情報論的学習理論ワークショップ(IBIS2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 対数線形モデルの期待値保存則に基づく高速な低タッカーランク近似2021

    • 著者名/発表者名
      ガラムカリ和、杉山麿人
    • 学会等名
      第24回情報論的学習理論ワークショップ(IBIS2021)
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 複合行列の最良ランク1近似に基づく欠損を含むランク1NMFの高速な解法2021

    • 著者名/発表者名
      ガラムカリ 和、杉山 麿人
    • 学会等名
      人工知能学会 第119回人工知能基本問題研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Neural Tangent Kernelを用いたSoft Tree Ensembleの解析2021

    • 著者名/発表者名
      加納 龍一、杉山 麿人
    • 学会等名
      人工知能学会 第119回人工知能基本問題研究会
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi