| Project/Area Number |
23K16871
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
江 易翰 大阪公立大学, 大学院工学研究科, 助教 (10824196)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 連合学習 / 空中計算 / エッジ人工知能 / 無線連合学習 / コホート / 最適性ギャップ / 混合整数非線形計画法 |
|---|
| Outline of Research at the Start |
本研究は、通信・計算時間とデータ分布の近いエッジデバイスのコホート（Cohort）化に基づいた新しい無線連合学習（Wireless Federated Learning）技術を開発するのを目的としている。特に、学習性能の評価指標である最適性ギャップに通信・計算時間とデータ分布を取り入れ、その閉形式の表現を導出し、混合整数非線形計画法を用いて最適性ギャップの最小化問題を定式化する。また、通信・計算時間とデータ分布を考慮した時空間的にコホートを生成する手法を提案し、コホートベースでのサンプリング方法を開発する。最後に、計算機シミュレーションと実証実験から、提案法の学習性能を検証する。
|
| Outline of Annual Research Achievements |
エッジ人工知能（Edge Artificial Intelligence）の時代には、無線接続を持つエッジデバイスが連合学習プロセスに参加する可能性がある。無線信号の波形重畳特性を考慮し、デジタルモデルの代わりにローカルモデルの情報（例えば、勾配）を集約する空中計算（OTA：Over-The-Air Computation）が登場し、過剰な帯域幅を消費することなく無線ネットワーク上で連合学習を行える空中計算が実行可能になった。先行研究では、様々な送信電力制御の技術の設計に専念してきたが、時変性のある無線チャネルの基で、コホート（すなわち、類似した無線チャネルを持つエッジデバイスの集合）を戦略的に構築することで、OTA連合学習システムの学習性能に利益をもたらすことを無視されている。
本研究では、OTA連合学習システムにおいて無線チャネルの品質が勾配の集約と回復に大きな影響を受けてしまう問題について調査する。この問題に対処するために、コホートベースのパワースケーリングと勾配回復（CRAIC：Cohort-based Power Scaling and Gradient Recovery）アルゴリズムを設計する。まず、コホートを構築し、構築されたコホートは次の通信ラウンドでスケジューリングされる。第2に、構築された各コホートにおいて、最も弱い無線チャネルを持つエッジデバイスに合わせるように、エッジデバイスは個別に送信電力を制御する。第3に、勾配集約の後、コホートベースで適用された送信電力と無線チャネルの情報を使用してローカル勾配を回復する。CRAICアルゴリズムの性能を評価するために、テスト精度の観点からいくつかの既存方法と比較する。さらに、CRAICアルゴリズムの性能が様々なシステムパラメータを設定した上でどのように変化するかを示す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
通常の連合学習とは異なり、送信電力の制御や無線チャネルの品質は、OTA連合学習システムの学習性能に大きな影響を与える。OTA連合学習において、エッジデバイス間の無線チャネルゲインのばらつきと最大送信電力の制約があるため、相対的なローカル勾配の大きさを保ちつつ基地局側の受信機ノイズに対抗するように受信信号を増強する必要である。この問題に対処するため、本研究では動的にコホートを構築し、コホートベースの送信電力制御と勾配回復スキームを行うCRAICアルゴリズムを設計した。CRAICアルゴリズムは、以下の3つのステップから構成されている。
（１）【コホート構築】まず、エッジデバイスの集合からランダムに一つのエッジデバイスを選択する。次に、全てのエッジデバイスに対して、無線チャネルの品質の差を計算し、昇順ソートしたもの先頭から数個の値に対応するエッジデバイスをコホートとする。
（２）【送信電力制御】各通信ラウンドにおいてコホート内のエッジデバイスは異なる最大送信電力や無線チャネルの品質を持っている。ローカル勾配はグローバルモデルに対する変化量を表すので、エッジデバイス間で、送信されるローカル勾配の相対的な大きさのオーダーを保持しながら適切に集約されるように、提案した合成チャネル係数を用いたエッジデバイス毎の送信電力を調整する。
（３）【勾配回復】勾配の集約は、無線チャネルの品質や受信機ノイズによって大きく変動する可能性がある。集約されたローカル勾配が元の勾配より小さすぎると、OTA連合学習プロセスの収束が遅くなる可能性がある。逆に、集約されたローカル勾配が大きすぎると、学習データの分布をうまく表現できなくなり、OTA連合学習プロセスが発散してしまう可能性がある。このため、送信電力と無線チャネルの品質を用いて逆算することで、基地局側で受信した勾配を回復する。
|
| Strategy for Future Research Activity |
従来のOTA連合学習において、ローカルモデルを集約する際に、単一な基地局による受信した無線信号をパラメータサーバに送信し、勾配回復を行い、グローバルモデルを生成する。しかし、単一な基地局の場合、通信のカバレージが限られて、電波が届かない範囲のエッジデバイスからのローカルモデルを集約できなく、学習性能や収束スピードに悪影響を及ぼす。今後は以下の問いを解決しようと考えている。
（１）【基地局集約モード】各基地局の集約モード（集約するか集約しないか）は受信信号の品質によってコントロールする必要である。受信信号の品質がノイズより強いとき、該当基地局の集約モードをオンにして学習性能を向上する見込みである。ノイズより受信信号の品質が弱い場合は、ノイズのせいで勾配を回復できなくなり、他の基地局と一緒に集約すると、全体の学習性能が落ちる恐れであるため、該当基地局の集約モードをオフにするのがよい。
（２）【コホート選択と送信電力制御】各通信ラウンドで小さいコホートからのローカルモデルを集約すると、送信電力を適切に調整しても、早期段階で学習性能が不安定で、収束まで多数の通信ラウンドがかかる。一方、大きいコホートの場合、デバイス間の無線チャネルの品質が大きく異なり、それぞれの送信電力をボトルネック（該当コホートのうち無線チャネルの品質が弱いデバイス）に合わせる必要であり、基地局側で受信信号の信号対雑音比が弱まる可能性がある。
（３）【多地点勾配回復】基地局毎の範囲でデバイス数や無線チャネルの品質が異なり、共通のグローバルモデルを生成するため、それぞれのコホートサイズや無線チャネルの品質を反映した勾配回復を行う必要がある。また、無線信号のブロードキャストの特徴で、各デバイスの送信信号は接続していない基地局にも届き、隣接のローカルモデル集約に干渉してしまう可能性がある。
|
