Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks
Project/Area Number |
22K14255
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 21020:Communication and network engineering-related
|
Research Institution | The University of Electro-Communications |
Principal Investigator |
佐藤 光哉 電気通信大学, 人工知能先端研究センター, 助教 (60822533)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
Keywords | 分散機械学習 / 低遅延 / 最適化 / 無線通信 / 機械学習 |
Outline of Research at the Start |
多数の端末が無線環境で完全分散型の機械学習を実施する際の、通信時間を抜本的に改善する通信手法の確立に向けた研究を実施する。近隣の端末同士が各自の観測データを用いた学習モデルの更新とその結果の共有を繰り返すことで、クラウドサーバを介さず、ローカルネットワーク上でデータ解析できる。しかし、電波伝搬の影響による通信失敗の他、端末数に依存した通信時間が増大が大きなボトルネックとなっていた。本問題に対し、不要な通信スロット削減、通信の高密度化、およびこれらの実験的評価という主要課題を設定する。即応的な分散機械学習に寄与する通信手法を確立し、今後数十年間に渡っての機械学習の応用先拡大を促す。
|
Outline of Annual Research Achievements |
分散機械学習の低遅延化に向けた学習・通信設計に従事した。具体的に、空中計算を用いた分散ガウス過程回帰の低遅延化手法を提案した。分散ガウス過程回帰は、学習用データを複数端末上で分割処理することで、その演算量の大幅な削減を実現する方式である。低演算量である一方、通信コストが端末台数に依存するという問題があった。Product of Expertsに基づく分散ガウス過程回帰における計算結果が各端末の計算結果の和で表現出来る点に着目した空中計算の設計を行ない、通信コストが端末台数に依存しない分散ガウス過程回帰の確立に成功した。無線通信における回帰タスクの1つである電波マップ構築における空間内挿を対象に、本方式の精度を評価した。計算機シミュレーションにより、チャネル状態情報の内容や端末台数に応じてAirCompを伴わない分散ガウス過程回帰と比較して二乗平均平方根誤差 (RMSE: Root Mean Squared Error)特性が劣化するものの、長区間変動特性を正確に推定出来る場合と比較して十分高精度に内挿が実施できることを確認した。 また、分散機械学習システムテストベッドのdocker実装を行った。学習機能をPythonおよびPyTorchにより記述可能である他、コンテナオーケストレーションによりネットワーク上の複数のLinux端末を連携できる。5台のNVIDIA Jetson Nanoを用いた実験により、画像分類タスクにおいて単一計算機上での計算機シミュレーション結果と同程度の学習精度が得られることを確認した。端末の変更や増量が簡易であり、今後の実機実験で活用する予定である。 以上の取り組みに関する成果は、IEICE情報理論研究会およびスマート無線研究会にて招待講演の形で発表し、関連分野の研究者らへ広くアピールした。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究における課題の1つに設定していた通信回数削減に成功した。当初の研究計画で想定していたグラフ彩色ではなく空中計算の採用となったものの、通信遅延が端末台数に非依存であり、当初の目標は十分達成できたと考えている。加えて、今回構築したテストベッドは実験的検証で活用可能であり、次年度以降の研究の大幅な円滑化が期待できる。 以上を踏まえ、おおむね順調に進展していると判断した。
|
Strategy for Future Research Activity |
空中計算により高速・低遅延な分散ガウス過程回帰が実現出来る一方、雑音耐性の観点での課題が明らかになった。レイリーフェージング環境において関連手法と比較してRMSEの観点で本手法が優位になる領域は、現時点で平均信号対雑音電力比でおおむね30dB以上である。精度劣化の原因が空中計算時の雑音強調に起因するものであることを確認したため、雑音を加味した送受信設計によりその抜本的改善を目指す。 また、これらの成果は2023年度中のIEEE論文誌への採択を目標としている。複数タスクにおける精度評価や商用無線システムを想定した遅延特性の解析などを通し、本提案の諸特性を整理する。
|
Report
(1 results)
Research Products
(3 results)