2023 Fiscal Year Annual Research Report
線形バンディット問題における実用的アルゴリズムの構築
| Project/Area Number |
22KJ1680
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
土屋 平 東京大学, 大学院情報理工学系研究科, 助教
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 機械学習 / 学習理論 / バンディット問題 / 逐次的意思決定問題 / オンライン凸最適化 / 両環境最適アルゴリズム |
|---|
| Outline of Annual Research Achievements |
本年度は，逐次的意思決定問題において確率的環境と敵対的環境で同時に最適性を達成する両環境最適アルゴリズムが，対象とする問題が属する最小の問題クラスの難しさに適応的に動作する技術の開発を行った．具体的には，部分観測問題と呼ばれる多腕バンディット問題や動的価格設定などの多くの逐次的意思決定問題を特別な場合として含む非常に一般的な逐次的意思決定問題を対象とした．問題が属する最小クラスの難しさに適応的に動作させるために，両環境最適性を達成するための標準的な手法である Follow-the-Regularized-Leader において，その正則化関数の強さとアルゴリズムの安定性に同時適応的な学習率を構築した．それにより，両環境最適性と問題の難しさへの適応性を同時に達成することに成功した．本研究成果は，機械学習分野で最も権威のある国際会議であるNeurIPS2023に採択された．
他にも行動の選択肢に組合せ的構造を持つ組合せ半バンディット問題において複数の環境最適性を同時に達成可能な両環境最適アルゴリズムを構築した．本研究成果は，機械学習・学習理論分野の代表的な国際会議であるAISTATS2023に採択された．
3年間の研究成果全体として，様々な構造を伴う逐次的意思決定問題において，多様な環境適応性を持つアルゴリズムを構築することに成功した．特に，両環境最適アルゴリズムは実問題で頻出する確率的環境と敵対的環境の中間の環境でほぼ最適なリグレットを達成可能であり実応用上重要な貢献となった．本研究の当初の目標は主に観測が線形な構造を持つ線形バンディット問題においてノイズに対して頑健に動作するアルゴリズムを構築することであったが，当初の計画より多様な問題設定において頑健性だけでなく他の適応性も有するアルゴリズムを構築することに成功した．
|
