2020 Fiscal Year Annual Research Report

Study on Mobile Data 3D Offloading using Deep Reinforcement Learning

Research Project

Project/Area Number	17H01730
Research Institution	Shizuoka University
Principal Investigator	峰野博史静岡大学, 情報学部, 教授 (40359740)
Co-Investigator(Kenkyū-buntansha)	水野忠則愛知工業大学, 情報科学部, 教授 (80252162)
Project Period (FY)	2017-04-01 – 2021-03-31
Keywords	モバイルネットワーク / データオフローディング / 深層強化学習
Outline of Annual Research Achievements	空間利用効率の最大化を目指す本モバイルデータ3Dオフローディング手法は，広域環境を対象としているため，実環境下で評価シナリオに基づいて各ユーザ端末（UE）を移動させるのは非常に困難である．一方，ネットワークシミュレータを用いた評価では，各種モデル（トラフィック，モビリティ，トポロジ，通信プロトコル，ノード性能）の条件設定やシステム実装依存部分の評価が難しい．理想的な条件での理論解析やアルゴリズム検討には向くが，実機の仕様や実機ドライバの実装など，無線通信規格の多様性や特性までを考慮して，実環境で得られる特性を適切に評価するのは難しい．そこで，UEの状況に応じて適切なデータ送受信制御を行うことでユーザの満足度を向上できるか，深層強化学習手法の改善を図ってきた．これまで強化学習の一種であるQ学習に深層学習を適用したDQNを用いて，送信レート制御モデルの構築を行ってきたが，分散深層強化学習を用いて様々な条件に依存しないネットワーク資源割当てによる適切な通信リソース制御の獲得の効率化を検討した．具体的にはApe-Xを用いて，Ape-X内の1つのモデルが1つのリソース単位にネットワーク資源を割当てるよう設計することで，リソース単位の変化の影響を受けず柔軟なネットワーク資源の割り当てを実現できることを確認した．また，実機での適切な評価が規模的に困難かつ，解析モデルやネットワークシミュレーションによる評価では条件設定やモデル構築を現実に近づけるのが困難な情報ネットワーク研究開発に対し，段階的スパイラル学習法の実現を意図した検討を進めるため，遅延耐性データを用いて空間利用効率の向上を図る通信手法のプロトタイプ実装と評価を進めた．
Research Progress Status	令和2年度が最終年度であるため、記入しない。
Strategy for Future Research Activity	令和2年度が最終年度であるため、記入しない。