2023 Fiscal Year Research-status Report
Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks
| Project/Area Number |
22K14255
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
佐藤 光哉 電気通信大学, 人工知能先端研究センター, 助教 (60822533)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 分散連合機械学習 / 最適化 / ガウス過程 |
|---|
| Outline of Annual Research Achievements |
分散連合機械学習 (DFL: Decentralized Federated Learning)のうち、ブロックチェーン (BC: Blockchain)を適用した学習方式の高速・高精度化法を提案した。DFLにおける学習モデルの管理にBCを導入することで、DFLの信頼度を大きく向上できることから、近年広く注目されている。一方 、BC導入に伴う通信量の増加やマイニングに伴う計算負荷増大により、学習時間特性が大きく劣化する。ここでは端末ごとの学習データの特性が不均衡である環境を想定した、学習端末とマイニング端末の適応的な選択法を提案した。本手法では、学習端末として選択された端末群が持つデータセットの偏りの抑制を目的とした端末選択を行なう。組合わせ多腕バンディット問題に基づいた解法により、端末の振る舞いを適切に決定できる。画像分類データセットを用いた特性評価を実施し、ネットワーク全体のラベルデータが不均衡である環境において、提案手法を用いることで、分類精度0.8までの到達時間を約85秒高速化できることを確認した。
次に、前年度に提案した空中計算に基づく分散ガウス過程回帰の雑音耐性向上法を検討した。本手法における回帰精度劣化の原因が雑音項の除算にある点を明らかにし、通信路状態に基づく加重平均処理の適応化手法を設計した。
最後に、分散センサ類を活用した時空間環境モニタリングの効率化に向けた、適応的なセンシング設計法を提案した。サーバ側でのベイズ最適化に基づくセンサ選択とセンサ側での簡易な時系列予測により、軽量かつ高精度にデータの時空間予測が実現できることを明らかにした。
本研究を通して得られた分散機械学習に関連する話題は、IEICE信号処理シンポジウムでチュートリアル講演を行なうなど、関連分野の研究者等へ成果を広くアピールした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で着目するDFLのうち、近年注目を集めているBCを適用した方式の高速化に成功した。通信分野からの問題提起と一解法の提示を早期に実現できたことは特筆すべき点である。
その上で分散環境モニタリングの効率化に取り組むなど、複数の成果を得ることができたため、おおむね順調に進展していると判断した。
|
| Strategy for Future Research Activity |
分散機械学習の効率化に関する一連の成果のまとめに従事する。前年度より検討を進めてきた空中計算の分散ガウス過程回帰応用は、逆距離加重補間や時系列データに対する移動平均をはじめ、他の加重平均処理全体に対しても適用可能である。提案手法の適用先を分散ガウス過程回帰に限らない、より一般性のある形で成果をまとめ、幅広い応用領域につながる成果発信を行なう。
また、成果波及に向け実際のアプリケーションを想定した設計と評価を実施予定である。特に、近年デジタルツインが注目されており、環境情報のリアルタイム性の重要性が増している点を踏まえ、大規模環境モニタリングの高効率・高精度化に取り組む。
以上の成果は、IEEE国際会議や国際学術誌をはじめとした国際的な場への投稿を目指す。
|
| Causes of Carryover |
計算機サーバを購入予定であったが、研究室内の機材の融通により充足した。また、論文誌の掲載料1編分を確保していた。関連論文の投稿を2024年度に実施する方向で調整したため、残額が生じた。
以上の残額は、最終年度の成果発信および近年の物価高騰への対応に使用予定である。
|
Research Products
(3 results)
