Realization of network AI processing by hardware assist

• Project/Area Number: 21K11844
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: The University of Tokyo
• Principal Investigator: 下見 淳一郎 東京大学, 大学院理学系研究科(理学部), 助教 (40417225)
• Co-Investigator(Kenkyū-buntansha): 平木 敬 東京大学, 大学院情報理工学系研究科, 名誉教授 (20238348)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000); Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: ネットワークAI処理 / 強化学習 / 輻輳制御 / ハードウェアアシスト

Outline of Research at the Start

ネットワーク上に分散した各エッジ機器で最適なネットワークモデルでの推論を実現するには、各エッジでのセキュリティ等の制約の他に遅延等のネットワークに起因する制約を解決する必要があり、単純なエッジ・バックエンド間のダイナミックモデルでは実現が困難である。本研究の目的は、ネットワーク経路上でAI処理を行う手法を提案し、実証のためにFPGAを用いたAI処理ネットワークテストベッドを研究開発し、実ネットワークを用いた実証実験により本研究の有用性を評価することである。

Outline of Annual Research Achievements

本研究の目的は、エッジでのリアルタイムな推論やエッジ間での学習結果の共有における従来のエッジ・バックエンド間のダイナミックモデルでは実現が困難な課題の解決であり、具体的には、ネットワーク経路上でのAI処理を行う手法を提案し、実証のためにFPGAを用いたAI処理ネットワークテストベッドを研究開発し、実ネットワークを用いた実証実験により本研究の有用性を評価することである。
従来のAI処理手法で生じているこれらの問題が、実は遅延等のネットワーク処理に起因するということに着目し、ネットワーク処理とAI処理を融合した問題解決手法を提案するところに本研究の学術的独自性および創造性がある。
当該年度は昨年度整備したシミュレーション検証環境を用いて学習による性能改善手法の検討および効果の評価を行った。具体的には、AI処理の学習の対象とする課題としてTCPの輻輳制御を取り上げており、従来型の輻輳制御では想定された環境の特徴に対してあらかじめ人手でチューニングを行っていたものが、強化学習を用いた複製制御を導入することで環境の変化に合わせて適応していくことが可能となるものである。
環境に応じて学習がすみやかに収束することが本手法の成果につながる重要なポイントであり、学習に用いる状態やモデル、アクションの選択肢、報酬の算出方法などを比較検討し性能評価を行っている。学習手法を改善することによって強化学習を用いた輻輳制御の性能を向上が実現しているが、安定して従来型の輻輳制御の性能を上回るためには引き続き手法の改善を追及していく必要がある。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当該年度は昨年度整備したシミュレーション検証環境を用いてAI処理による性能改善を評価する計画であり強化学習によるTCPの輻輳制御の性能改善に取り組んだ。
具体的には、シミュレーション検証環境上でTCPのコネクションの状態から強化学習を行い、そのアクションに応じた輻輳制御を実装している。報酬の算出方法などの学習手法を比較検討し輻輳制御の性能改善が実現した。
強化学習を用いた輻輳制御の性能改善には環境に応じた学習の収束が必要なこともあり、従来型の輻輳制御の性能を上回るためには引き続き手法の改善を追求していく必要がある。

Strategy for Future Research Activity

引き続きシミュレーション検証環境のもとで提案手法の改善を行う。具体的には強化学習のすみやかな収束を目指して学習手法の比較検討を引き続き行うとともに、輻輳制御のどの部分に学習を適用するかなど設計自体の再検討を行う。その後に学習済みモデルの配布処理などTCPで接続しているノード間での分散学習の取り組みを行っていく。
シミュレーション検証環境での実験結果で具体的な性能改善が見込めるようになった後に、実ネットワークを用いた検証環境の構築を行い、提案手法の実ネットワーク検証環境での動作および性能改善について検証を行っていく。