• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Riemannian Fixed Point Optimization Algorithm and Its Application to Machine Learning

Research Project

Project/Area Number 21K11773
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60020:Mathematical informatics-related
Research InstitutionMeiji University

Principal Investigator

飯塚 秀明  明治大学, 理工学部, 専任教授 (50532280)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywordsリーマン多様体 / 不動点最適化 / 機械学習 / 適応学習率最適化アルゴリズム / リーマン不動点最適化アルゴリズム
Outline of Research at the Start

機械学習の解析対象となる大規模データが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。本研究の目的は、新アルゴリズム「リーマン不動点最適化アルゴリズム」に基づいた機械学習法を開発することである。本研究の方法は、機械学習に現れる確率的最適化問題をリーマン多様体上の不動点最適化問題に定式化し、その問題を解くためのリーマン不動点最適化アルゴリズムを開発するという方法である。また、提案学習法が従来学習法と比べて高性能を有することを数値実験により実証する。

Outline of Annual Research Achievements

機械学習の解析対象となる大規模データが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。特に、AdaGrad、RMSProp、Adam、AMSGrad といったユークリッド空間上の強力な機械学習手法である適応学習率最適化アルゴリズムをリーマン多様体上へ一般化することにより、主成分分析等のデータ解析や自然言語処理といった様々な分野で成功を収めている。しかしながら、例えば、ノイズに対する頑強な学習器構築に必要とされる疎性 (sparsity) を考慮した機械学習においては、従来適応学習率最適化アルゴリズムでは適用できないリーマン多様体上の大規模かつ複雑な制約下での確率的最適化問題を解決する必要がある。本研究の目的は、このような最適化問題を解決する新アルゴリズムに基づいた機械学習法を開発することである。

令和3年度では、リーマン多様体上の大規模かつ複雑な制約下での確率的最適化問題を不動点集合上の確率的最適化問題に表現し、その問題を解くための確率的不動点最適化アルゴリズムとその収束解析について提案することができた。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

令和3年度に開発した「リーマン不動点最適化アルゴリズム」がリーマン多様体上の大規模かつ複雑な制約下での確率的最適化問題を解くことを示した。数値比較実験により、提案手法の有用性を示すことができた。特に、適応学習率最適化アルゴリズムに基づいた提案手法が高速に収束することを示した。これらの結果を纏めた論文は、ジャーナル Numerical Algorithms に採録されることになった。以上のことから、当初の計画以上に進展していると言える。

Strategy for Future Research Activity

令和3年度の研究成果を発展させる。例えば、より高速、かつ、安定したアルゴリズムの開発ができるようにする。また、提案手法に基づいた機械学習法を構築し、既存機械学手法と比べて高性能であることを数値比較実験により検証する。

Report

(1 results)
  • 2021 Research-status Report

Research Products

(4 results)

All 2022 2021 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Remarks (1 results)

  • [Journal Article] ε-Approximation of Adaptive Leaning Rate Optimization Algorithms for Constrained Nonconvex Stochastic Optimization2022

    • Author(s)
      Iiduka Hideaki
    • Journal Title

      IEEE Transactions on Neural Networks and Learning Systems

      Volume: - Pages: 1-8

    • DOI

      10.1109/tnnls.2022.3142726

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Riemannian stochastic fixed point optimization algorithm2022

    • Author(s)
      Iiduka Hideaki、Sakai Hiroyuki
    • Journal Title

      Numerical Algorithms

      Volume: - Issue: 4 Pages: 1493-1517

    • DOI

      10.1007/s11075-021-01238-y

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Unified Algorithm Framework for Nonconvex Stochastic Optimization in Deep Neural Networks2021

    • Author(s)
      Zhu Yini、Iiduka Hideaki
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 143807-143823

    • DOI

      10.1109/access.2021.3120749

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Remarks] 数理最適化研究室

    • URL

      https://iiduka.net/default

    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi