2023 Fiscal Year Annual Research Report
Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning
| Project/Area Number |
21H03510
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
高橋 規一 岡山大学, 環境生命自然科学学域, 教授 (60284551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
右田 剛史 岡山大学, 環境生命自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 連合学習 / ニューラルネットワーク / 非負値行列因子分解 / 連立一次方程式 / サポートベクトルマシン |
|---|
| Outline of Annual Research Achievements |
今年度は，課題２「深層学習への応用」，課題３「行列分解への応用」，課題４「非負制約付き連立一次方程式への応用」，課題５「計算機ネットワーク上での性能評価実験」において，いくつかの成果が得られた．第一の成果は，分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの設計と実装を行い，遠隔3拠点にある3台の計算機を用いた実証実験によって有効性を確認したことである．本研究における従来の連合学習アルゴリズムでは，合意形成の際に各ニューラルネットワークがすべてのパラメータ値を送信するのに対し，新たなアルゴリズムでは層ごとに合意形成を行うため通信量を大幅に削減できる．実際，実証実験の結果，従来アルゴリズムの1/10の通信量で従来アルゴリズムと同等の学習精度が得られた．これは課題２と課題５にまたがる重要な成果である．第二の成果は，合意に基づく連立一次方程式の分散求解アルゴリズムを設計し，10台のRaspberry Pi上に実装して動作を確認したことである．現時点では連立一次方程式のみが対象であるが，このアルゴリズムを土台にして種々の最適化問題に対する分散解法を開発できる可能性がある．第三の成果は，非負値行列因子分解のための新たな更新式を導出し，その大域収束性を証明するとともに，既存の更新式よりも大幅に短い計算時間で解が得られることを実験的に示したことである．新たな更新式は，乗法的更新規則と同様に目的関数の補助関数の最小化から導出されるが，更新過程で変数の値が0になり得るためスパースな解を得る．以上の他に，サポートベクトルマシンの分散学習アルゴリズムや，平均頂点間距離を最小にする正則グラフを探索するアルゴリズムの並列化など，研究開始時には想定していなかった成果もいくつか得られている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」については想定通りには進展しなかったが，課題２「深層学習への応用」，課題３「行列分解への応用」，課題４「非負制約付き連立一次方程式への応用」，課題５「計算機ネットワーク上での性能評価実験」においてそれを補う成果が得られた．例えば，課題２と課題５に関わる成果として，分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの設計から遠隔3拠点の実証実験までを行い，従来の連合学習アルゴリズムに比べて大幅に少ない通信量で同等の性能が得られることを示した．
|
| Strategy for Future Research Activity |
今後は，１）分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの有効性を大規模かつ複雑なニューラルネットワークモデルを用いた実験によって検証すること，２）lassoの分散アルゴリズムの大域収束性を理論的に証明すること，３）サポートベクトルマシンの分散学習アルゴリズムの高速化と軽量化を実現すること，４）多様な分散最適化アルゴリズムに適用可能な理論基盤を構築すること，５）研究の総括を行うとともに残された課題を明確にすること，を目標に掲げて研究を推進する．
|
