Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning
| Project/Area Number |
23K21703
|
|---|
| Project/Area Number (Other) |
21H03510 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
高橋 規一 岡山大学, 環境生命自然科学学域, 教授 (60284551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
右田 剛史 岡山大学, 環境生命自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥13,520,000 (Direct Cost: ¥10,400,000、Indirect Cost: ¥3,120,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
|
|---|
| Keywords | 合意アルゴリズム / 分散最適化 / 連合学習 / ブロック座標降下法 / 合意形成 / マルチエージェントシステム / ニューラルネットワーク / 全域木 / 非負値行列因子分解 / 分散学習 / 合意計算 / 主成分分析 / lasso |
|---|
| Outline of Research at the Start |
合意に基づく分散最適化アルゴリズムにブロック座標降下法を導入した軽量な分散最適化アルゴリズムを開発する．また，アルゴリズムの収束条件，変数選択規則，合意計算の最適化，終了条件判定などに関する理論基盤を構築する．さらに，開発した分散最適化アルゴリズムを，深層学習，非負値行列因子分解，主成分分析，lassoなど，機械学習分野における諸問題に展開して有用性を検証する．
|
| Outline of Annual Research Achievements |
今年度は，課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」，課題２「深層学習への応用」，課題３「行列分解への応用」，課題５「計算機ネットワーク上での性能評価実験」においていくつかの成果が得られた．一つめは，格子状に配置された多数のエージェントが非負値行列因子分解を行うための分散アルゴリズムの大域収束性を証明したことである．詳細に言えば，分散アルゴリズム中で実行される平均合意アルゴリズムの反復回数が十分に大きいという条件の下で，分散アルゴリズムによって得られる解の列が停留点に収束することを証明した．これは課題３の主要な成果であるとともに，課題１の理論基盤構築に向けた重要なステップである．二つめは，昨年度に開発した，多数のニューラルネットワークが合意形成を行うための分散的全域木生成法とパラメータ値送受信法について，新たな実装を行って合意形成までの処理時間を大幅に短縮したことである．また，この合意形成手法に基づく連合学習アルゴリズムを実装し，同一LAN内の4台の計算機による実証実験と遠隔2拠点にある2台の計算機による実証実験を行い，いずれも正しく動作することを確認した．これは課題２と課題５にまたがる重要な成果である．三つめはlassoにおける交互方向乗数法を分散的に実行するためのアルゴリズムを開発し，1台の計算機上でシミュレーションを行って妥当性を確認したことである．これは合意に基づく分散最適化の考え方が多様なアルゴリズムに適用できることを示す成果である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」において重要な進展があった．具体的には，分散最適化アルゴリズム中の平均合意アルゴリズムの反復回数が十分に大きければ非分散アルゴリズムとの差を小さく保ったまま変数の値を更新できることを証明した．また，課題２「深層学習への応用」と課題３「行列分解への応用」と課題５「計算機ネットワーク上での性能評価実験」においても順調に成果が得られている。
|
| Strategy for Future Research Activity |
今後は，１）今年度の一つめの成果における証明のアイデアを一般化し，多様な分散最適化アルゴリズムに適用可能な理論基盤を構築すること，２）連合学習における通信時間を削減するためにブロック座標降下法を導入した新たなアルゴリズムを開発して実証実験によって性能を評価すること，３）昨年度の二つめの成果を主成分分析の分散アルゴリズムに展開して計算機ネットワーク上での性能評価実験を行うこと，４）主成分分析やlassoの分散アルゴリズムの収束性を理論的に証明すること，を目標に掲げて研究を推進する．
|
Report
(2 results)
Research Products
(18 results)
