• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

リーマン不動点最適化アルゴリズムと機械学習への応用

研究課題

研究課題/領域番号 21K11773
研究機関明治大学

研究代表者

飯塚 秀明  明治大学, 理工学部, 専任教授 (50532280)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワードリーマン多様体 / 不動点最適化 / 機械学習 / 適応手法 / リーマン不動点最適化アルゴリズム
研究実績の概要

機械学習の解析対象となる大規模なデータが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。特に、適応手法と呼ばれるユークリッド空間上の強力な機械学習法をリーマン多様体上へ拡張することで、データ解析や自然言語処理に現れる複雑な最適化問題を解決している。しかしながら、例えば、ノイズに対する頑強な学習器構築に必要とされる疎性(sparsity)を考慮した機械学習においては、従来の適応手法では適用できないリーマン多様体上の大規模かつ複雑な最適化を解決する必要がある。本研究の目的は、このような最適化問題を解決する新アルゴリズムに基づいた機械学習法を開発することである。

令和4年度では、リーマン多様体上の大規模かつ複雑な最適化問題を解くための適応手法とその収束解析について提案することができた。また、敵対的生成ネットワークに現れる最適化問題を解くための適応手法とその収束解析について提案することができた。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

令和4年度では、敵対的生成ネットワークに現れる最適化問題に焦点をあてた。この問題は令和3年度で議論をしたニューラルネットワークに現れる最適化問題よりも複雑なナッシュ均衡問題である。令和4年度では、令和3年度で提案した「リーマン不動点最適化アルゴリズム」に基づいた新しいアルゴリズムとその収束解析を提案することができた。この結果は、機械学習系のトップカンファレンス ICML2023とAISTATS2023 のプロシーディングスに採録されている。以上のことから、当初の計画以上に進展しているといえる。

今後の研究の推進方策

令和4年度の研究成果を発展させる。例えば、敵対的生成ネットワークを訓練するためのアルゴリズムについて、疎性を考慮した最適化問題を解決できるように拡張する。

次年度使用額が生じた理由

適切に使用したが次年度使用額23,243円が生じた。研究遂行のために適切に使用する。

  • 研究成果

    (7件)

すべて 2023 2022 その他

すべて 雑誌論文 (5件) (うち査読あり 5件) 図書 (1件) 備考 (1件)

  • [雑誌論文] Conjugate Gradient Method for Generative Adversarial Networks2023

    • 著者名/発表者名
      Naganuma Hiroki、Iiduka Hideaki
    • 雑誌名

      Proceedings of The 26th International Conference on Artificial Intelligence and Statistics

      巻: 206 ページ: 4381~4408

    • 査読あり
  • [雑誌論文] Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule2023

    • 著者名/発表者名
      Sato Naoki、Hideaki Iiduka
    • 雑誌名

      Proceedings of the 40th International Conference on Machine Learning

      巻: 202 ページ: -

    • 査読あり
  • [雑誌論文] Global convergence of Hager--Zhang type Riemannian conjugate gradient method2023

    • 著者名/発表者名
      Sakai Hiroyuki、Sato Hiroyuki、Iiduka Hideaki
    • 雑誌名

      Applied Mathematics and Computation

      巻: 441 ページ: 127685~127685

    • DOI

      10.1016/j.amc.2022.127685

    • 査読あり
  • [雑誌論文] Riemannian Adaptive Optimization Algorithm and its Application to Natural Language Processing2022

    • 著者名/発表者名
      Sakai Hiroyuki、Iiduka Hideaki
    • 雑誌名

      IEEE Transactions on Cybernetics

      巻: 52 ページ: 7328~7339

    • DOI

      10.1109/TCYB.2021.3049845

    • 査読あり
  • [雑誌論文] Appropriate Learning Rates of Adaptive Learning Rate Optimization Algorithms for Training Deep Neural Networks2022

    • 著者名/発表者名
      Iiduka Hideaki
    • 雑誌名

      IEEE Transactions on Cybernetics

      巻: 52 ページ: 13250~13261

    • DOI

      10.1109/TCYB.2021.3107415

    • 査読あり
  • [図書] 連続最適化アルゴリズム2023

    • 著者名/発表者名
      飯塚 秀明
    • 総ページ数
      352
    • 出版者
      オーム社
    • ISBN
      9784274230066
  • [備考] 数理最適化研究室

    • URL

      https://iiduka.net/default

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi