| 研究課題/領域番号 |
22KJ1680
|
|---|
| 補助金の研究課題番号 |
21J21272 (2021-2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2021-2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分60030:統計科学関連
|
|---|
| 研究機関 | 東京大学 (2023)
京都大学 (2021-2022) |
|---|
研究代表者 |
土屋 平 (2021, 2023) 東京大学, 大学院情報理工学系研究科, 助教
|
|---|
| 特別研究員 |
土屋 平 (2022) 京都大学, 情報学研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
2,200千円 (直接経費: 2,200千円)
2023年度: 700千円 (直接経費: 700千円)
2022年度: 700千円 (直接経費: 700千円)
2021年度: 800千円 (直接経費: 800千円)
|
|---|
| キーワード | 機械学習 / 学習理論 / バンディット問題 / 逐次的意思決定問題 / オンライン凸最適化 / 両環境最適アルゴリズム |
|---|
| 研究開始時の研究の概要 |
本年度の研究では昨年度に引き続き，背後の環境に対して頑健に動作するバンディットアルゴリズムの研究を行う．バンディット問題においては確率的設定と敵対的設定という大きく理論的に異なる枠組みがあるが，実問題がどちらの問題クラスに属するか判断は難しい．そこで，単一のアルゴリズムで両方の設定において最適性を達成することが望ましく，そのような性質は両環境最適性と呼ばれる．既存の両環境最適なアルゴリズムは比較的単純な問題に対してのみ適用可能であり，また，問題の難しさへの適応力が十分できないという問題があった．今年度は後者の問題を解決する両環境最適アルゴリズムの構築を行う．
|
| 研究実績の概要 |
本年度は，逐次的意思決定問題において確率的環境と敵対的環境で同時に最適性を達成する両環境最適アルゴリズムが，対象とする問題が属する最小の問題クラスの難しさに適応的に動作する技術の開発を行った．具体的には，部分観測問題と呼ばれる多腕バンディット問題や動的価格設定などの多くの逐次的意思決定問題を特別な場合として含む非常に一般的な逐次的意思決定問題を対象とした．問題が属する最小クラスの難しさに適応的に動作させるために，両環境最適性を達成するための標準的な手法である Follow-the-Regularized-Leader において，その正則化関数の強さとアルゴリズムの安定性に同時適応的な学習率を構築した．それにより，両環境最適性と問題の難しさへの適応性を同時に達成することに成功した．本研究成果は，機械学習分野で最も権威のある国際会議であるNeurIPS2023に採択された．
他にも行動の選択肢に組合せ的構造を持つ組合せ半バンディット問題において複数の環境最適性を同時に達成可能な両環境最適アルゴリズムを構築した．本研究成果は，機械学習・学習理論分野の代表的な国際会議であるAISTATS2023に採択された．
3年間の研究成果全体として，様々な構造を伴う逐次的意思決定問題において，多様な環境適応性を持つアルゴリズムを構築することに成功した．特に，両環境最適アルゴリズムは実問題で頻出する確率的環境と敵対的環境の中間の環境でほぼ最適なリグレットを達成可能であり実応用上重要な貢献となった．本研究の当初の目標は主に観測が線形な構造を持つ線形バンディット問題においてノイズに対して頑健に動作するアルゴリズムを構築することであったが，当初の計画より多様な問題設定において頑健性だけでなく他の適応性も有するアルゴリズムを構築することに成功した．
|
