Riemannian Fixed Point Optimization Algorithm and Its Application to Machine Learning
Project/Area Number |
21K11773
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 60020:Mathematical informatics-related
|
Research Institution | Meiji University |
Principal Investigator |
飯塚 秀明 明治大学, 理工学部, 専任教授 (50532280)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
Keywords | リーマン多様体 / 不動点最適化 / 機械学習 / 適応手法 / リーマン不動点最適化アルゴリズム / 適応学習率最適化アルゴリズム |
Outline of Research at the Start |
機械学習の解析対象となる大規模データが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。本研究の目的は、新アルゴリズム「リーマン不動点最適化アルゴリズム」に基づいた機械学習法を開発することである。本研究の方法は、機械学習に現れる確率的最適化問題をリーマン多様体上の不動点最適化問題に定式化し、その問題を解くためのリーマン不動点最適化アルゴリズムを開発するという方法である。また、提案学習法が従来学習法と比べて高性能を有することを数値実験により実証する。
|
Outline of Annual Research Achievements |
機械学習の解析対象となる大規模なデータが、ある曲がった空間上に分布するという事例により、リーマン多様体上の最適化が注目を集めている。それは、既存のユークリッド空間上の議論では扱えなかった機械学習を可能にする。特に、適応手法と呼ばれるユークリッド空間上の強力な機械学習法をリーマン多様体上へ拡張することで、データ解析や自然言語処理に現れる複雑な最適化問題を解決している。しかしながら、例えば、ノイズに対する頑強な学習器構築に必要とされる疎性(sparsity)を考慮した機械学習においては、従来の適応手法では適用できないリーマン多様体上の大規模かつ複雑な最適化を解決する必要がある。本研究の目的は、このような最適化問題を解決する新アルゴリズムに基づいた機械学習法を開発することである。
令和4年度では、リーマン多様体上の大規模かつ複雑な最適化問題を解くための適応手法とその収束解析について提案することができた。また、敵対的生成ネットワークに現れる最適化問題を解くための適応手法とその収束解析について提案することができた。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
令和4年度では、敵対的生成ネットワークに現れる最適化問題に焦点をあてた。この問題は令和3年度で議論をしたニューラルネットワークに現れる最適化問題よりも複雑なナッシュ均衡問題である。令和4年度では、令和3年度で提案した「リーマン不動点最適化アルゴリズム」に基づいた新しいアルゴリズムとその収束解析を提案することができた。この結果は、機械学習系のトップカンファレンス ICML2023とAISTATS2023 のプロシーディングスに採録されている。以上のことから、当初の計画以上に進展しているといえる。
|
Strategy for Future Research Activity |
令和4年度の研究成果を発展させる。例えば、敵対的生成ネットワークを訓練するためのアルゴリズムについて、疎性を考慮した最適化問題を解決できるように拡張する。
|
Report
(2 results)
Research Products
(10 results)