2022 Fiscal Year Research-status Report

Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks

Research Project

Project/Area Number	22K14255
Research Institution	The University of Electro-Communications
Principal Investigator	佐藤光哉電気通信大学, 人工知能先端研究センター, 助教 (60822533)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	分散機械学習 / 低遅延 / 最適化
Outline of Annual Research Achievements	分散機械学習の低遅延化に向けた学習・通信設計に従事した。具体的に、空中計算を用いた分散ガウス過程回帰の低遅延化手法を提案した。分散ガウス過程回帰は、学習用データを複数端末上で分割処理することで、その演算量の大幅な削減を実現する方式である。低演算量である一方、通信コストが端末台数に依存するという問題があった。Product of Expertsに基づく分散ガウス過程回帰における計算結果が各端末の計算結果の和で表現出来る点に着目した空中計算の設計を行ない、通信コストが端末台数に依存しない分散ガウス過程回帰の確立に成功した。無線通信における回帰タスクの1つである電波マップ構築における空間内挿を対象に、本方式の精度を評価した。計算機シミュレーションにより、チャネル状態情報の内容や端末台数に応じてAirCompを伴わない分散ガウス過程回帰と比較して二乗平均平方根誤差 (RMSE: Root Mean Squared Error)特性が劣化するものの、長区間変動特性を正確に推定出来る場合と比較して十分高精度に内挿が実施できることを確認した。また、分散機械学習システムテストベッドのdocker実装を行った。学習機能をPythonおよびPyTorchにより記述可能である他、コンテナオーケストレーションによりネットワーク上の複数のLinux端末を連携できる。5台のNVIDIA Jetson Nanoを用いた実験により、画像分類タスクにおいて単一計算機上での計算機シミュレーション結果と同程度の学習精度が得られることを確認した。端末の変更や増量が簡易であり、今後の実機実験で活用する予定である。以上の取り組みに関する成果は、IEICE情報理論研究会およびスマート無線研究会にて招待講演の形で発表し、関連分野の研究者らへ広くアピールした。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 本研究における課題の1つに設定していた通信回数削減に成功した。当初の研究計画で想定していたグラフ彩色ではなく空中計算の採用となったものの、通信遅延が端末台数に非依存であり、当初の目標は十分達成できたと考えている。加えて、今回構築したテストベッドは実験的検証で活用可能であり、次年度以降の研究の大幅な円滑化が期待できる。以上を踏まえ、おおむね順調に進展していると判断した。
Strategy for Future Research Activity	空中計算により高速・低遅延な分散ガウス過程回帰が実現出来る一方、雑音耐性の観点での課題が明らかになった。レイリーフェージング環境において関連手法と比較してRMSEの観点で本手法が優位になる領域は、現時点で平均信号対雑音電力比でおおむね30dB以上である。精度劣化の原因が空中計算時の雑音強調に起因するものであることを確認したため、雑音を加味した送受信設計によりその抜本的改善を目指す。また、これらの成果は2023年度中のIEEE論文誌への採択を目標としている。複数タスクにおける精度評価や商用無線システムを想定した遅延特性の解析などを通し、本提案の諸特性を整理する。
Causes of Carryover	実験への使用を予定していた小型端末等の消耗品について、学内連携部署の機材を活用出来ることが決まった。そのため、物品費に残額が生じた。また、国際会議での成果発表を予定していたが、新型コロナウィルスの影響が続いたことから国内発表にとどめ、論文誌執筆や次年度以降の実験準備といった活動に時間を割いた。そのため、旅費およびその他に残額が生じた。これらは、23年度の活動における国際会議参加費や計算機購入費に使用する予定である。2022年度中の急激な円安により、これらの費用も大幅に増加する見込みである。こういった支出増加に対応し、引き続きの円滑な研究の遂行を目指す。