2012 Fiscal Year Annual Research Report
凸最適化の手法を用いたオンライン意思決定に関する研究
| Project/Area Number |
23300003
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
瀧本 英二 九州大学, システム情報科学研究科(研究院, 教授 (50236395)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
畑埜 晃平 九州大学, システム情報科学研究科(研究院, 助教 (60404026)
|
|---|
| Project Period (FY) |
2011-04-01 – 2015-03-31
|
| Keywords | オンライン予測 / 劣モジュラ最適化 / 基多面体 / 線形分類器学習 / Bradley-Terryモデル |
|---|
| Research Abstract |
本研究では，意志決定とデータの提示が交互に繰り返される「オンライン意思決定」の問題に対し，アルゴリズムの設計と解析に関する一般的な方法論を確立することを目的としている．
本年度は，離散的な決定空間に対し，効率の良いアルゴリズムの設計指針を与える画期的な成果を得た．従来，離散的な決定空間に対するオンライン予測の問題は，決定空間の凸包への写像という幾何的な問題に還元して解く方法が知られているが，効率の良い写像アルゴリズムが存在するための条件については何も知られておらず，アルゴリズムは決定空間ごとに個別に設計する必要があった．これに対し本研究では，決定空間の凸包が，ある劣モジュラ関数によって定義される基多面体に一致するとき，その凸包への写像が多項式時間で解けることを示した．これにより，順列，全域木，部分集合族などの多くの自然な決定空間に対する，統一的で効率の良いオンライン予測アルゴリズムを与えることができた．
線形分類器のオンライン学習問題に対し，次のような成果を得た．従来，線形分類器を学習する問題は，事例空間の次元を1つ増やして定数パラメータを割り当てることにより，原点を通る線形分類器の学習問題に還元する手法が用いられているが，定数パラメータを最適化するためには，すべての入力事例を予め知る必要があるため，オンライン学習の設定ではこのような還元手法が使えないという問題があった．これに対し本研究では，パラメータを必要としない新しいオンライン学習方式を提案し，最適化されたパラメータを与えたときの従来手法に匹敵する性能を持つことを，計算機実験により確認した
与えられた2チーム間の勝敗を予測する問題をBradley-Terryモデルと呼ばれる確率モデルに対するオンライン最尤推定問題として定式化し，Bernoulliモデルを用いる素朴な定式化に対する優位性を実験により示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度で掲げた研究実施計画は，大きく次の４つに分類されている．(1)マルコフ的な環境の下でのオンライン最適化アルゴリズム設計指針の確立，(2)離散決定空間に対する効率の良いアルゴリズムの開発，(3)大規模データに対するオンライン意思決定システムの開発，(4)新しいマージン理論に基づく学習方式の開発．このうち，項目(1)については，マルコフ決定過程に対する最適化問題を，意思決定つきのランダムウォークとみなして解析する手法が有望であるという予備的な成果を得ている．項目(2)については，研究実績の概要で述べた通り大きな成果を上げることができた．また，決定空間の凸包に対する写像の問題がNP困難であっても，オフライン近似アルゴリズムが存在する場合は，それをオンライン予測アルゴリズムに変換する新しい手法を構築することに成功している．項目(3)については，二部ランキング問題に対する効率の良いアルゴリズムの開発に成功しており，数百ギガバイトにおよぶ将棋の棋譜データから将棋の局面の評価関数を学習するシステムへの実装を試みている．項目(4)については，研究実績の概要で述べた線形分類器の学習アルゴリズムが，オンラインでのマージン最適化アルゴリズムとみなすことができ，予測誤り回数による評価だけでなく，汎化性能の評価においても優れた性能を持つことが計算機実験により観察されている．以上より，総合的にみると本研究はおおむね順調に進展しているといえる．特に，項目(2)の進展が著しい．
|
| Strategy for Future Research Activity |
各研究項目ごとに今後の推進方策を示す．
(1)オンライン意思決定過程を，マルコフ決定過程のもとでの最適化問題として定式化する．この問題は，グラフ上のランダムウォークに意思決定の要素を取り入れたものと考えることができるため，ランダムウォークによる探索の標準的な評価指標である到達時間や被服時間の解析を手がかりにする．
(2)組み合わせ論的に定義される多くの自然な離散決定空間に対し，連続緩和とラウンディングに基づくオンライン意思決定アルゴリズムの一般的な設計指針を与える．特に，ラウンディングの手続きは，（必ずしもラウンディングを用いているとは限らない）オフライン近似アルゴリズムの存在を仮定すると，楕円体法を用いて実現できることが知られているが，楕円体法は効率に問題がある．そこで今後は，ラウンディングアルゴリズムの新しい設計法の確立に取り組む．
(3)ゲーム木における最善手探索などの，いくつかのオンライン意思決定アルゴリズムは，数ステップ先が最終ステップであると仮定した上でミニマックス最適解を求めるアルゴリズムとして記述される．しかし，ミニマックス探索は効率に問題がある．そこで今後は，ミニマックス探索を陽に行わずにミニマックス最適解を推定する学習方式について，その可能性と限界を探る．
(4)従来のマージン最大化に基づく線形分類器の学習方式は，無矛盾な仮説空間に内接し，体積が最大の超球を求める問題として定式化できる．その仮説空間上で適当な線形変換を施した上で体積が最大の超球（超楕円体）を求めることにより，精度の向上を図る手法が提案されているが，理論的な精度保証は与えられていない．そこで今後はこの問題を厳密に定式化し，理論的な精度保証を与えるとともに，効率のよい逐次型の学習アルゴリズムの構築を目指す．
|
Research Products
(10 results)
-
-
[Journal Article] Online Rank Aggregation2012
Author(s)
Shota Yasutake
-
Journal Title
Proc. 4th Conference on Asian Conference on Machine Learning, JMLR Workshop and Conference Proceedings
Volume: 25
Pages: 539--553
Peer Reviewed
-
-
-
-
-
-
-
-
