| 研究課題/領域番号 |
21K11844
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
下見 淳一郎 東京大学, 大学院理学系研究科(理学部), 助教 (40417225)
|
|---|
| 研究分担者 |
平木 敬 東京大学, 大学院情報理工学系研究科, 名誉教授 (20238348)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | ネットワークAI処理 / 強化学習 / 輻輳制御 |
|---|
| 研究実績の概要 |
本研究の目的は、エッジでのリアルタイムな推論やエッジ間での学習結果の共有における従来のエッジ・バックエンド間のダイナミックモデルでは実現が困難な課題の解決であり、具体的には、ネットワーク経路上でのAI処理を行う手法を提案し、実証のためにFPGAを用いたAI処理ネットワークテストベッドを研究開発し、実ネットワークを用いた実証実験により本研究の有用性を評価することである。
従来のAI処理手法で生じているこれらの問題が、実は遅延等のネットワーク処理に起因するということに着目し、ネットワーク処理とAI処理を融合した問題解決手法を提案するところに本研究の学術的独自性および創造性がある。
当該年度は昨年度整備したシミュレーション検証環境を用いて学習による性能改善手法の検討および効果の評価を行った。具体的には、AI処理の学習の対象とする課題としてTCPの輻輳制御を取り上げており、従来型の輻輳制御では想定された環境の特徴に対してあらかじめ人手でチューニングを行っていたものが、強化学習を用いた複製制御を導入することで環境の変化に合わせて適応していくことが可能となるものである。
環境に応じて学習がすみやかに収束することが本手法の成果につながる重要なポイントであり、学習に用いる状態やモデル、アクションの選択肢、報酬の算出方法などを比較検討し性能評価を行っている。学習手法を改善することによって強化学習を用いた輻輳制御の性能を向上が実現しているが、安定して従来型の輻輳制御の性能を上回るためには引き続き手法の改善を追及していく必要がある。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
当該年度は昨年度整備したシミュレーション検証環境を用いてAI処理による性能改善を評価する計画であり強化学習によるTCPの輻輳制御の性能改善に取り組んだ。
具体的には、シミュレーション検証環境上でTCPのコネクションの状態から強化学習を行い、そのアクションに応じた輻輳制御を実装している。報酬の算出方法などの学習手法を比較検討し輻輳制御の性能改善が実現した。
強化学習を用いた輻輳制御の性能改善には環境に応じた学習の収束が必要なこともあり、従来型の輻輳制御の性能を上回るためには引き続き手法の改善を追求していく必要がある。
|
| 今後の研究の推進方策 |
引き続きシミュレーション検証環境のもとで提案手法の改善を行う。具体的には強化学習のすみやかな収束を目指して学習手法の比較検討を引き続き行うとともに、輻輳制御のどの部分に学習を適用するかなど設計自体の再検討を行う。その後に学習済みモデルの配布処理などTCPで接続しているノード間での分散学習の取り組みを行っていく。
シミュレーション検証環境での実験結果で具体的な性能改善が見込めるようになった後に、実ネットワークを用いた検証環境の構築を行い、提案手法の実ネットワーク検証環境での動作および性能改善について検証を行っていく。
|
| 次年度使用額が生じた理由 |
当該年度においてはソフトウェアシミュレーションによる提案手法の評価を行ったが、シミュレーション環境については本学が以前より所有しているサーバ設備を利用したため物品の購入を行わなかった。
また、ソフトウェアシミュレーションによる評価が十分に完了していないため、実ネットワーク環境による評価のための環境構築は次年度に行うこととした。
|
