Online Decision Making Based on Random Sampling

2018 Fiscal Year Final Research Report

• Project/Area Number: 15H02667
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Theory of informatics
• Research Institution: Kyushu University
• Principal Investigator: Takimoto Eiji 九州大学, システム情報科学研究院, 教授 (50236395)
• Co-Investigator(Kenkyū-buntansha): 畑埜 晃平 九州大学, 基幹教育院, 准教授 (60404026)
• Project Period (FY): 2015-04-01 – 2019-03-31
• Keywords: 計算学習理論 / オンライン予測 / オンラインアルゴリズム / 組合せ最適化 / ブースティング

Outline of Final Research Achievements

We proposed high accuracy and efficient algorithms for various problems of online decision making, machine learning and combinatorial optimization, by using the methodology of random sampling. Among them we give two main achievements below. (1) We showed that the metrical task system problem over a combinatorial decision space can be reduced to the problem of random sampling over the decision space, and using the reduction we succeeded to give, for the first time, high accuracy and efficient algorithms for various combinatorial decision spaces such as paths of a graph. (2) We proposed a new approach toward large scale machine learning: compress the given training data into a ZDD, and simulate Boosting efficiently over the ZDD (without decompression), based on an online prediction method over the set of accepting paths as the decision space.

Free Research Field

計算学習理論

Academic Significance and Societal Importance of the Research Achievements

メトリカルタスクシステム（MTS）問題は，組合せ集合を決定空間とする場合，効率の良いアルゴリズムの統一的で有用な設計法は知られていなかった．本研究は，この問題に対し，ランダムサンプリングの設計問題に落とし込むという，世界初の統一的・現実的な設計指針を与えたといえる．また，大規模機械学習の問題に対し，従来は，確率的勾配降下法などのランダムサンプリングに基づくアプローチが主流であったが，本研究では，圧縮データ上の機械学習という新しいアプローチを提案している．計算時間とメモリ効率の向上を同時に達成する画期的な手法であるだけでなく，圧縮データ上の最適化という新たな研究の方向性を示唆している．