2017 Fiscal Year Annual Research Report
Online Decision Making Based on Random Sampling
| Project/Area Number |
15H02667
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
瀧本 英二 九州大学, システム情報科学研究院, 教授 (50236395)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
畑埜 晃平 九州大学, 基幹教育院, 准教授 (60404026)
|
|---|
| Project Period (FY) |
2015-04-01 – 2019-03-31
|
| Keywords | 計算学習理論 / オンライン予測 / 組合せ最適化 / 時系列データ / ブースティング / ZDD |
|---|
| Outline of Annual Research Achievements |
主に以下の成果を得た．
１．大規模機械学習に対する新しいアプローチとして，圧縮データ上の学習法を提案した．提案手法は，まず訓練データを閉路のない有向グラフによる圧縮表現（非決定性ZDD）に変換し，データを陽に展開することなく，訓練データ上のブースティングを正確に模倣する．ブースティングとは，マージン最大化に基づく超平面学習を実現する機械学習の標準的な手法の１つで，弱学習器と呼ばれるオラクルを環境とするオンライン予測アルゴリズムとみなせることが知られている．特に本手法では，訓練データの各事例が非決定性ZDDの道に対応するため，本手法におけるブースティングは，グラフの道集合を決定空間とするオンライン離散最適化問題とみなすことができる．道集合に対する効率的かつ高精度なオンライン離散最適化アルゴリズムを利用することにより，提案手法は，各試行につきグラフのサイズに比例する時間で動作する．これは，訓練データの圧縮率が高いほど計算効率が良いことを意味し，大規模機械学習の新しい方法論として期待できる．
２．時系列データの分類学習問題に対し，シェイプレットと呼ばれる短い時系列データをn個用意し，任意の時系列データ x に対し，それぞれのシェイプレットに最も類似する x の部分系列の類似度を並べたn次元ベクトルを x の特徴ベクトルとするという手法があるが，どのようなシェイプレット集合を選ぶべきかについては発見的な手法しか知られていなかった．本研究では，短い時系列データすべてからなる非可算無限個のシェイプレット集合を考えた場合の汎化誤差上界を導出し，さらにカーネルトリックとブースティング手法を組み合わせることにより，この非加算無限個のシェイプレット集合を用いた場合の効率的な学習アルゴリズムを構築することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
圧縮データ上の学習法の開発に関する論文を国際会議WALCOMで発表し，Best Paper Awardを受賞した．また，この結果は論文誌Theoretical Computer Scienceに掲載予定のWALCOM Special Issueにも推薦され，結果を一般化し本手法の優位性を示す実験結果を追記した論文を投稿中である．また，本研究課題に関するジャーナル論文を３件投稿し，２件が採択済み，１件が条件付き採択の判定で，次年度に公開される見込みである．
|
| Strategy for Future Research Activity |
１．これまでの成果で，本研究課題において，ブースティングが重要な役割を担っていることが明らかになってきた．しかし，理論保証を持つ既存のブースティング手法はすべて，各繰り返し過程で凸最適化問題を解く必要があり，効率化の障害となっている．本研究では，凸正則化項の代わりにランダムな線形項を用いることにより，繰り返し過程で解くべき問題を線形計画問題に帰着することで，ブースティングの効率化を図る．
２．離散空間上のオンライン予測問題は，線形損失を対象とする場合のみ研究されており，非線形損失に対する問題は大きな未解決問題となっている．最も大きな障害となっているのは，緩和解から適切な決定ベクトルを選ぶ乱択ラウンディングの部分の性能保証が，線形損失の場合にしか成立しないことである．本研究では，非線形損失関数を，非線形写像を通した新しい決定空間上の線形損失関数とみなすことで，この問題に対する解決を試みる．
３．大規模機械学習に対する新しいアプローチとして提案した圧縮データ上の学習法の拡張を試みる．特に，圧縮データ上でのソフトマージン最大化，クラスタリング，決定木学習など，種々の学習アルゴリズムを圧縮データ上で効率よく模倣する手法の開発を試みる．
|
-
-
-
-
-
-
-
-
[Presentation] Boosting over ZDDs2017
Author(s)
Takahiro Fujita, Kohei Hatano, Eiji Takimoto
Organizer
The 20th Korea-Japan Joint Workshop on Algorithms and Computation
Int'l Joint Research
-
-
-
-
-
-
