| 研究課題/領域番号 |
21K11747
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60010:情報学基礎論関連
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
本多 淳也 京都大学, 情報学研究科, 准教授 (10712391)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | 機械学習 / バンディット問題 / オンライン学習 / 治験 / 学習理論 / 実験計画 / 情報理論 |
|---|
| 研究開始時の研究の概要 |
本研究は，ウェブの推薦システムや新規化合物の開発等をはじめとした，試行錯誤を通じて優れた候補を探索するモデルであるバンディット問題における効率的なアルゴリズムの開発を行う．この問題ではトンプソン抽出とよばれるランダム方策が近年よく用いられるようになっているが，これはアルゴリズムの柔軟性が低く限られた設定に対してしか理論限界を達成できない．そこで，本研究はトンプソン抽出をはじめとしたランダム方策が複雑な計算を避けつつ優れた性能を示す原理を系統立てて理解し取り出すことで，汎用的に理論限界を達成可能かつ実用的なランダム方策の構成法を確立する．
|
| 研究実績の概要 |
本年度の研究では、バンディット問題におけるランダム方策のうちまず組合せ構造をもつバンディット問題に対して分散適応性のある方策の構築を行った。組合せ構造をもつ設定は推薦システムにおける商品の同時推薦や経路探索など、実応用において損失や報酬の最大範囲に比べて実際の報酬のばらつきが小さくなりやすい。このような設定に対して、本研究では確率的設定・敵対的設定のいずれでも最適オーダーの性能保証（両環境最適性とよばれる）をもちつつ、小さな分散をもつ報酬系列に対して適応的に動作する方策を新たに構成した。
両環境最適性をもつ方策のほとんどは、方策の損失を安定性項・罰則項とよばれる２つの項に分解し、それらを適切にバランスさせるような学習率を設定することで構成される。ここで、従来は学習率を安定性項・罰則項のいずれかのみに動的に依存する方策への解析方法が知られており、これが原因となり達成可能な性能保証に制約が生じていた。これに対し本研究では安定性項・罰則項の双方に動的に依存する学習率に対する新たな解析手法を確立し、これにより実際に広範な設定において優れた保証を達成可能であることを示した。
また、確率的環境におけるランダム方策についてはトンプソン抽出とよばれる方策が最適に近い性能を小さい計算量で達成する方策として知られているが、その性能保証は一部の比較的解析しやすい設定に限られていた。これに対し、本研究ではパレート分布モデルに対するトンプソン抽出が事前分布によっては一般的な対数オーダーではなく多項式オーダーの損失を被ることを新たに示し、その修正方法を示した。
その他、累積報酬を最大化するのでなく優れた候補の発見を目指す最適腕識別の問題において、トンプソン抽出の手法を応用することで優れた性能を達成する方策を構築したほか、実際の治験における第１相試験において優れた用量を発見する方策の構築を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
両環境最適性をもつ方策の構成については近年研究が進んでおり競争的なトピックであるが、本研究では上記の結果がトップ国際会議NeurIPSおよびAISTATSに採録され非常に順調な結果が得られた。さらに、古典的な確率的設定における方策についても国際会議ICMLおよびACMLに採録され、さらには治験における実応用についても創薬の論文誌Journal of Biopharmaceutical Statisticsに採録されるなど、理論・応用の両面から極めて順調な結果が得られたといえる。
|
| 今後の研究の推進方策 |
以上の進捗状況を踏まえ、今後も特に敵対的設定に対応可能なランダム方策に関する研究を推進する予定である。特に、バンディット問題の一般化である部分観測問題についてはExploration by Optimizationとよばれる損失上界の最適化に基づく方策が近年注目されているが、これは両環境最適性の達成とはやや相性が悪いという問題が知られており、今後はこういった点への対応を検討している。
|
