2021 Fiscal Year Annual Research Report
Consensus-Based Distributed Optimization Algorithms of Low Computational Cost and Their Applications to Machine Learning
| Project/Area Number |
21H03510
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
高橋 規一 岡山大学, 自然科学学域, 教授 (60284551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
右田 剛史 岡山大学, 自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | ニューラルネットワーク / 分散学習 / 合意計算 / 非負値行列因子分解 / 主成分分析 / lasso |
|---|
| Outline of Annual Research Achievements |
今年度は，当初の計画とは順番が異なるものの，課題２「深層学習への応用」と課題３「行列分解への応用」に注力し，いくつかの重要な成果を得た．まず，課題２では，複数のニューラルネットワークがパラメータ値に関する合意形成を行う際の通信量を大幅に低減することに焦点を当て，すべてのニューラルネットワークが分散的に全域木を求め，その全域木に沿って変数値を送受信して合意形成を行う方法を開発した．具体的には，合意形成アルゴリズムの設計，Webサーバー通信を用いたプロトコルの設計，Python言語による実装，複数台の計算機による実験を行い，従来手法よりも大幅に少ない通信量で完全合意が形成できることを示した．また，開発した合意形成手法を用いた分散学習アルゴリズムを実装し，10個以上のニューラルネットワークによる分散学習実験によって，完全合意を維持したまま効率的に学習を行うことが可能であることを確認した．次に，課題３では，非負値行列因子分解における階層的交互最小二乗法，主成分分析におけるべき乗法，lassoにおける座標降下法のそれぞれについて，複数台の計算機で分散的に実行するためのアルゴリズムを開発し，数値実験によって妥当性を確認した．中でも，非負値行列因子分解における階層的交互最小二乗法の分散アルゴリズムについては，大域収束性の証明のアイデアが生まれ，それに従って途中段階まで証明を行った．さらに，非負値行列因子分解の新たな計算アルゴリズムを複数開発し，それらの大域収束性を証明した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」の進展はあまりなかったが，２年目以降に取り組む予定だった課題２「深層学習への応用」と課題３「行列分解への応用」において，それを補うだけの進展が得られた．当初の計画では，理論基盤を構築してから各種の応用に取り組むことになっていたが，実際には個別問題に取り組むことを優先的に行った．その結果，現在までに多くの知見が得られており，それらを基に理論基盤を構築することを考えている．
|
| Strategy for Future Research Activity |
課題２では，今年度に開発した分散学習手法の妥当性と有効性を理論と実験の両面から検証する．理論では収束性解析を中心に行い，実験では遠隔複数拠点での分散学習実験を行う．課題３では，今年度に開発した非負値行列因子分解，主成分分析，lasso等の各種分散計算アルゴリズムの大域収束性や収束速度の理論解析を行う．課題１では，課題２と課題３で得られた多くの知見を活かし，一般の分散最適化アルゴリズムの理論基盤の構築を行う．具体的な目標は，１）ブロック座標降下法を組み込んだ分散最適化アルゴリズムの収束条件の導出，２）各エージェントの演算能力や通信能力に関する制約の下で収束速度を最大にする変数選択規則，個別最適化計算と合意計算のスケジューリング，ネットワークの接続構造，合意計算の重みの決定，３）有限回反復での終了を保証する終了条件の導出とその分散判定法の設計，などである．
|
