Automatic Generation of Novel Congestion Control Algorithms through Co-evolution with Simulation Environments

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03414
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60050:Software-related
• Research Institution: University of Tsukuba
• Principal Investigator: Abe Hirotake 筑波大学, システム情報系, 准教授 (00456716)
• Co-Investigator(Kenkyū-buntansha): 岡 瑞起 筑波大学, システム情報系, 准教授 (10512105)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: インターネット / 輻輳制御 / 機械学習 / 共進化

Outline of Final Research Achievements

This study aimed to automatically generate internet congestion control algorithms using reinforcement learning. Utilizing POET, we co-evolved network simulation environments and algorithms. In the first year, we built a prototype and introduced the concept of Quality Diversity (QD). In the following year, we attempted to overcome the limitations of Grammatical Evolution (GE) by using a Large Language Model (LLM). We also revised the evaluation function to include a new fairness metric, resulting in the successful generation of agents that maintain high throughput while balancing with other communications.

Free Research Field

システムソフトウェア

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的意義は、機械学習アルゴリズム、特に強化学習を用いて、新たな輻輳制御アルゴリズムを自動生成する点にある。従来の手法では対応が難しい多様なネットワーク環境においても、高性能なアルゴリズムの生成が可能となる。また、環境とアルゴリズムの共進化により、人間の介在なしで効率的なアルゴリズムの開発が進む。社会的意義としては、インターネットサービスの品質向上が挙げられる。動画ストリーミング、オンラインゲーム、IoT、エッジコンピューティングなど多岐にわたる分野で、通信の効率性と公平性を向上させることで、ユーザー体験の大幅な向上が期待される。