|
当年度の研究では，限られた試行回数で探索すべき候補を適切に選択する問題である多腕バンディット問題において情報論的手法に基づいた効率的なアルゴリズムの開発を昨年度から引き続き行った．
バンディット問題を含む非常に広い逐次意思決定問題を表現可能な問題クラスとして、部分観測問題が知られている。この問題においては理論限界を漸近的に達成可能な手法が知られている一方で、これは各試行で必要な計算が非常に複雑で、かつ漸近的な優位性が現れるまで非常に多くの試行が必要なことが知られている。また、多くの問題クラスで優れた性能を達成することが実験的に知られているトンプソン抽出についても、問題に複雑さに起因して近似ヒューリスティクスしか知られておらず、その理論保証の有無も不明であった。これに対して、本研究ではトンプソン抽出を実時間で正確に実行するアルゴリズムを開発し、これが近似ヒューリスティクスを大きく上回る性能を示すと共にその理論保証を与えた。この結果は機械学習のトップ国際会議であるNeurIPS2020に採録された。
バンディット問題の実応用では、例えば広告デザインの候補や推薦アイテム集合の選択など、選択し得る候補が組合せ的に存在する場合が数多くある。こういった場面では各候補に関する何らかの指標をそれぞれ調べるという典型的なアルゴリズムはほとんど実行不可能であるが、従来の手法は組合せの各構成要素についての報酬が個別に観測できる場合に限られていた。そこで、本研究では選択した候補集合の報酬和のみが観測できるという設定に対し、マトロイド制約といった多くの組合せ制約に対して多項式時間実行可能なアルゴリズムを構築することで、実時間で効率的に最適候補を発見することを可能とした。この結果は機械学習のトップ論文誌であるNeural Computation誌に採録された。
|
