2022 年度研究成果報告書

強化学習に適した並列分散機械学習環境の研究

研究課題

PDF

研究課題/領域番号	19K11994
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分60090:高性能計算関連
研究機関	国立研究開発法人産業技術総合研究所
研究代表者	中田秀基国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (80357631)
研究期間 (年度)	2019-04-01 – 2023-03-31
キーワード	分散計算 / 並列計算 / 強化学習
研究成果の概要	並列分散環境における強化学習のフレームワーク構築のために、高速で高機能な言語を対象とした並列分散システムを構築した。対象言語として機械学習での利用が急速に拡大しつつあるJulia言語に着目し、強化学習フレームワークを実装するのに適したActor機構を実装した。Actor機構を実装する際にJuliaの言語的な特性に即したAPIを構築した。さらに、大規模機械学習に用いられることの多い高速なネットワークを持つ大規模計算機システムでの使用を考慮し、高速なネットワークライブラリに対して最適化を行い、大幅な性能向上を実現した。
自由記述の分野	分散並列計算
研究成果の学術的意義や社会的意義	本研究では、並列分散強化学習をターゲットとして研究を進めたが、高性能計算機環境に適した並列分散実行環境の応用範囲は強化学習への適用にとどまらず、広く適用可能である。特にPythonを置き換える可能性のある言語として最近急速に注目を集めているJulia言語で実現したことには大きな社会的意義があると考える。また直感的に利用可能なActorをAPIとして採用することで、多くのユーザや応用分野に資することができると考える。