| Project/Area Number |
23K21703
|
|---|
| Project/Area Number (Other) |
21H03510 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61040:Soft computing-related
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
高橋 規一 岡山大学, 環境生命自然科学学域, 教授 (60284551)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
右田 剛史 岡山大学, 環境生命自然科学学域, 助教 (90362954)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥13,520,000 (Direct Cost: ¥10,400,000、Indirect Cost: ¥3,120,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
|
|---|
| Keywords | 合意アルゴリズム / 分散最適化 / 連合学習 / ブロック座標降下法 / ニューラルネットワーク / 非負値行列因子分解 / 連立一次方程式 / サポートベクトルマシン / 合意形成 / マルチエージェントシステム / 全域木 / 分散学習 / 合意計算 / 主成分分析 / lasso |
|---|
| Outline of Research at the Start |
合意に基づく分散最適化アルゴリズムにブロック座標降下法を導入した軽量な分散最適化アルゴリズムを開発する．また，アルゴリズムの収束条件，変数選択規則，合意計算の最適化，終了条件判定などに関する理論基盤を構築する．さらに，開発した分散最適化アルゴリズムを，深層学習，非負値行列因子分解，主成分分析，lassoなど，機械学習分野における諸問題に展開して有用性を検証する．
|
| Outline of Annual Research Achievements |
今年度は，課題２「深層学習への応用」，課題３「行列分解への応用」，課題４「非負制約付き連立一次方程式への応用」，課題５「計算機ネットワーク上での性能評価実験」において，いくつかの成果が得られた．第一の成果は，分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの設計と実装を行い，遠隔3拠点にある3台の計算機を用いた実証実験によって有効性を確認したことである．本研究における従来の連合学習アルゴリズムでは，合意形成の際に各ニューラルネットワークがすべてのパラメータ値を送信するのに対し，新たなアルゴリズムでは層ごとに合意形成を行うため通信量を大幅に削減できる．実際，実証実験の結果，従来アルゴリズムの1/10の通信量で従来アルゴリズムと同等の学習精度が得られた．これは課題２と課題５にまたがる重要な成果である．第二の成果は，合意に基づく連立一次方程式の分散求解アルゴリズムを設計し，10台のRaspberry Pi上に実装して動作を確認したことである．現時点では連立一次方程式のみが対象であるが，このアルゴリズムを土台にして種々の最適化問題に対する分散解法を開発できる可能性がある．第三の成果は，非負値行列因子分解のための新たな更新式を導出し，その大域収束性を証明するとともに，既存の更新式よりも大幅に短い計算時間で解が得られることを実験的に示したことである．新たな更新式は，乗法的更新規則と同様に目的関数の補助関数の最小化から導出されるが，更新過程で変数の値が0になり得るためスパースな解を得る．以上の他に，サポートベクトルマシンの分散学習アルゴリズムや，平均頂点間距離を最小にする正則グラフを探索するアルゴリズムの並列化など，研究開始時には想定していなかった成果もいくつか得られている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題１「ブロック座標降下法を組み込んだ分散最適化アルゴリズムの理論基盤構築」については想定通りには進展しなかったが，課題２「深層学習への応用」，課題３「行列分解への応用」，課題４「非負制約付き連立一次方程式への応用」，課題５「計算機ネットワーク上での性能評価実験」においてそれを補う成果が得られた．例えば，課題２と課題５に関わる成果として，分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの設計から遠隔3拠点の実証実験までを行い，従来の連合学習アルゴリズムに比べて大幅に少ない通信量で同等の性能が得られることを示した．
|
| Strategy for Future Research Activity |
今後は，１）分散的全域木生成と段階的合意を組み合わせた連合学習アルゴリズムの有効性を大規模かつ複雑なニューラルネットワークモデルを用いた実験によって検証すること，２）lassoの分散アルゴリズムの大域収束性を理論的に証明すること，３）サポートベクトルマシンの分散学習アルゴリズムの高速化と軽量化を実現すること，４）多様な分散最適化アルゴリズムに適用可能な理論基盤を構築すること，５）研究の総括を行うとともに残された課題を明確にすること，を目標に掲げて研究を推進する．
|
