Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks
| Project/Area Number |
22K14255
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 21020:Communication and network engineering-related
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
佐藤 光哉 電気通信大学, 人工知能先端研究センター, 助教 (60822533)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 分散連合機械学習 / 最適化 / ガウス過程 / 分散機械学習 / 低遅延 / 無線通信 / 機械学習 |
|---|
| Outline of Research at the Start |
多数の端末が無線環境で完全分散型の機械学習を実施する際の、通信時間を抜本的に改善する通信手法の確立に向けた研究を実施する。近隣の端末同士が各自の観測データを用いた学習モデルの更新とその結果の共有を繰り返すことで、クラウドサーバを介さず、ローカルネットワーク上でデータ解析できる。しかし、電波伝搬の影響による通信失敗の他、端末数に依存した通信時間が増大が大きなボトルネックとなっていた。本問題に対し、不要な通信スロット削減、通信の高密度化、およびこれらの実験的評価という主要課題を設定する。即応的な分散機械学習に寄与する通信手法を確立し、今後数十年間に渡っての機械学習の応用先拡大を促す。
|
| Outline of Annual Research Achievements |
分散連合機械学習 (DFL: Decentralized Federated Learning)のうち、ブロックチェーン (BC: Blockchain)を適用した学習方式の高速・高精度化法を提案した。DFLにおける学習モデルの管理にBCを導入することで、DFLの信頼度を大きく向上できることから、近年広く注目されている。一方 、BC導入に伴う通信量の増加やマイニングに伴う計算負荷増大により、学習時間特性が大きく劣化する。ここでは端末ごとの学習データの特性が不均衡である環境を想定した、学習端末とマイニング端末の適応的な選択法を提案した。本手法では、学習端末として選択された端末群が持つデータセットの偏りの抑制を目的とした端末選択を行なう。組合わせ多腕バンディット問題に基づいた解法により、端末の振る舞いを適切に決定できる。画像分類データセットを用いた特性評価を実施し、ネットワーク全体のラベルデータが不均衡である環境において、提案手法を用いることで、分類精度0.8までの到達時間を約85秒高速化できることを確認した。
次に、前年度に提案した空中計算に基づく分散ガウス過程回帰の雑音耐性向上法を検討した。本手法における回帰精度劣化の原因が雑音項の除算にある点を明らかにし、通信路状態に基づく加重平均処理の適応化手法を設計した。
最後に、分散センサ類を活用した時空間環境モニタリングの効率化に向けた、適応的なセンシング設計法を提案した。サーバ側でのベイズ最適化に基づくセンサ選択とセンサ側での簡易な時系列予測により、軽量かつ高精度にデータの時空間予測が実現できることを明らかにした。
本研究を通して得られた分散機械学習に関連する話題は、IEICE信号処理シンポジウムでチュートリアル講演を行なうなど、関連分野の研究者等へ成果を広くアピールした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で着目するDFLのうち、近年注目を集めているBCを適用した方式の高速化に成功した。通信分野からの問題提起と一解法の提示を早期に実現できたことは特筆すべき点である。
その上で分散環境モニタリングの効率化に取り組むなど、複数の成果を得ることができたため、おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
分散機械学習の効率化に関する一連の成果のまとめに従事する。前年度より検討を進めてきた空中計算の分散ガウス過程回帰応用は、逆距離加重補間や時系列データに対する移動平均をはじめ、他の加重平均処理全体に対しても適用可能である。提案手法の適用先を分散ガウス過程回帰に限らない、より一般性のある形で成果をまとめ、幅広い応用領域につながる成果発信を行なう。
また、成果波及に向け実際のアプリケーションを想定した設計と評価を実施予定である。特に、近年デジタルツインが注目されており、環境情報のリアルタイム性の重要性が増している点を踏まえ、大規模環境モニタリングの高効率・高精度化に取り組む。
以上の成果は、IEEE国際会議や国際学術誌をはじめとした国際的な場への投稿を目指す。
|
Report
(2 results)
Research Products
(6 results)
