Efficient Learning of Maximum Margin Sparse Hyperplanes wih Bias

• Project/Area Number: 21700171
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Intelligent informatics
• Research Institution: Kyushu University
• Principal Investigator: HATANO Kohei Kyushu University, システム情報科学研究院, 助教 (60404026)
• Project Period (FY): 2009 – 2010
• Project Status: Completed (Fiscal Year 2010)
• Budget Amount: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000); Fiscal Year 2010: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2009: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
• Keywords: 機械学習 / 計算学習理論 / オンライン予測 / ブースティング / ソフトマージン最適化 / サポートベクターマシン / ランキング / パターン発見 / 1ノルム正則化 / ランキング学習 / 線形計画問題

Research Abstract

The 1-norm soft margin optimization is a popular formulation for obtaining sparse classifiers. We propose a new boosting algorithm based on linear programming. Our algorithm can take advantage of the sparsity of the solution of the underlying optimization problem. In preliminary experiments, our algorithm outperforms a state-of-the-art LP solver and LPBoost.

Research Products

• [Journal Article] Ellipsoidal Support Vector Machines (2010)
  • Author(s): Michinari Momma, Kohei Hatano, Hiroki Nakayama
  • Journal Title: Proc.of the 2nd Asian Conference on Machine Learning (ACML 2010) Pages: 31-46
• [Journal Article] Sparse Substring Pattern Set Discovery using Linear Programming Boosting (2010)
  • Author(s): Kazuaki Kashihara, Kohei Hatano, Hideo Bannai, Masayuki Takeda
  • Journal Title: Proc.of the 13th International Conference on Discovery Science Pages: 132-144
• [Journal Article] Ellipsoidal Support Vector Machines (2010)
  • Author(s): Michinari Momma, Kohei Hatano, Hiroki Nakayama
  • Journal Title: Proceedings of the 2nd Asian Conference Conference on Machine Learning Pages: 31-46
  • Peer Reviewed
• [Journal Article] Sparse Substring Pattern Set Discovery using Linear Programming Boosting (2010)
  • Author(s): Kazuaki Kashihara, Kohei Hatano, Hideo Bannai, Masayuki Takeda
  • Journal Title: Proceedings of the 13th International Conference on Discovery Science Pages: 132-143
  • Peer Reviewed
• [Journal Article] Linear Programming Boosting by Column and Row Generation (2009)
  • Author(s): Kohei Hatano, Eiji Takimoto
  • Journal Title: Proc.of 12th International Conference on Discovery Science Pages: 401-408
  • NAID: 120006654515
• [Journal Article] Theory and Algorithm for Learning with Dissimilarity Functions (2009)
  • Author(s): Liwei Wang, Masashi Sugiyama, Cheng Yang, Kohei Hatano, Jefu Feng
  • Journal Title: Neural Computation vol.21, No.5 Pages: 1459-1484
• [Journal Article] 間引き:ロボットのスキル発見における評価の削減手法 (2009)
  • Author(s): 小林隼人, 畑埜晃平, 石野明, 篠原歩
  • Journal Title: 人工知能学会論文誌 vol.24, No.1 Pages: 191-202
  • NAID: 130000098282
• [Journal Article] Theory and Algorithms for Learning Dissimiltary Functions (2009)
  • Author(s): Liwei Wang, Masashi Sugiyama, Cheng Yang, Kohei Hatano, Jefu Fang
  • Journal Title: Neural Computation 21(5) Pages: 1459-1484
  • Peer Reviewed
• [Journal Article] 間引き:ロボットのスキル発見における評価の消減手法 (2009)
  • Author(s): 小林隼人, 石野明, 畑埜晃平, 篠原歩
  • Journal Title: 人工知能学会論文誌 24(1) Pages: 191-202
  • Peer Reviewed
• [Journal Article] Linear Programming Boosting by Column and Row Generation (2009)
  • Author(s): Kohei Hatano, Eiji Takimoto
  • Journal Title: Proceedings of the 12th International Conference on Discovery Science Pages: 401-408
  • NAID: 120006654515
  • Peer Reviewed
• [Presentation] Online Prediction over Permutahedron (2011)
  • Author(s): 安武翔太, 畑埜晃平, 来嶋秀治, 瀧本英二, 竹田正幸
  • Organizer: 情報処理学会第134回アルゴリズム研究会
  • Place of Presentation: 琉球大学
  • Year and Date: 2011-03-07
• [Presentation] Online Prediction over Permutahedron (2011)
  • Author(s): 安武翔太, 畑埜晃平, 来嶋秀治, 瀧本英二, 竹田正幸
  • Organizer: 情報処理学会第134回アルゴリズム研究会(SIGAL)
• [Presentation] 確率的評価値をもつゲーム木における最善手探索 (2011)
  • Author(s): 奥山洋平, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 冬のLAシンポジウム
• [Presentation] カーネル法を用いたコンピュータ将棋の評価関数の学習 (2010)
  • Author(s): 末廣大貴, 畑埜晃平, 坂内英夫, 瀧本英二, 竹田正幸
  • Organizer: 第15回ゲームプログラミングワークショップ
  • Place of Presentation: 箱根セミナーハウス
  • Year and Date: 2010-11-12
• [Presentation] オンラインランク統合問題 (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 第13回情報論的学習理論ワークショップ
  • Place of Presentation: 東京大学
  • Year and Date: 2010-11-05
• [Presentation] SVMによるバイパータイトランキング学習を用いたコンピュータ将棋における評価関数の学習 (2010)
  • Author(s): 末廣大貴, 畑埜晃平, 坂内英夫, 瀧本英二, 竹田正幸
  • Organizer: 第13回情報論的学習理論ワークショップ
  • Place of Presentation: 東京大学
  • Year and Date: 2010-11-04
• [Presentation] Online Rang Aggregation (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 第9回情報科学技術フォーラム
  • Place of Presentation: 九州大学
  • Year and Date: 2010-09-09
• [Presentation] Sparse Substring Pattern Set Discovery using Linear Programming Boosting' (2010)
  • Author(s): 樫原和昭, 畑埜晃平, 坂内英夫, 竹田正幸
  • Organizer: 第9回情報科学技術フォーラム
  • Place of Presentation: 九州大学
  • Year and Date: 2010-09-09
• [Presentation] 重みつき窓を用いた適応型オンライン予測 (2010)
  • Author(s): 吉田真一, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 人工知能学会・データマイニングと統計数理研究会
  • Place of Presentation: 統計数理研究所
  • Year and Date: 2010-03-30
• [Presentation] オイラインランク統合問題 (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 冬のLAシンポジウム
  • Place of Presentation: 京都大学
  • Year and Date: 2010-02-02
• [Presentation] カーネル法を用いたコンピュータ将棋の評価関数の学習 (2010)
  • Author(s): 末廣大貴, 畑埜晃平, 坂内英夫, 瀧本英二, 竹田正幸
  • Organizer: 第15回ゲームプログラミングワークショップ2010(GPW2010)
• [Presentation] オンラインランク統合問題 (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 第13回情報論的学習理論ワークショップ(IBIS2010)
• [Presentation] SVMによるバイパータイトランキング学習を用いたコンピュータ将棋における評価関数の学習 (2010)
  • Author(s): 末廣大貴, 畑埜晃平, 坂内英夫, 瀧本英二, 竹田正幸
  • Organizer: 第13回情報論的学習理論ワークショップ(IBIS2010)
• [Presentation] Sparse Substring Pattern Set Discoveryusing Linear Programming Boosting (2010)
  • Author(s): 樫原和昭・畑埜晃平・坂内英夫・竹田正幸
  • Organizer: 第9回情報科学技術フォーラム(FIT2010)
• [Presentation] Online Rank Aggregation (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 第9回情報科学技術フォーラム(FIT2010)
• [Presentation] 楽曲の分類と文字列間の類似性指標について" (2010)
  • Author(s): 阿南陽子, 畑埜晃平, 坂内英夫, 竹田正幸
  • Organizer: 人工知能学会人工知能基本問題研究会(SIG-FPAI),第78回
• [Presentation] 重みつき窓を用いた適応型オンライン予測 (2010)
  • Author(s): 吉田真一, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 人工知能学会データマイニングと統計数理研究会(SIG-DMSM)第12回, 55-64
• [Presentation] オンラインランク統合問題 (2010)
  • Author(s): 安武翔太, 畑埜晃平, 瀧本英二, 竹田正幸
  • Organizer: 冬のLAシンポジウム
• [Presentation] 行と列の生成による線型計画ブースティング (2009)
  • Author(s): 畑埜晃平, 瀧本英二
  • Organizer: 第12回情報論的学習理論ワークショップ
  • Place of Presentation: 九州大学
  • Year and Date: 2009-10-19
• [Presentation] 行と列の生成による線形計画ブースティング (2009)
  • Author(s): 畑埜晃平, 瀧本英二
  • Organizer: 第12回情報論的学習理論ワークショップ(IBIS2009)
• [Remarks] ホームページ等
  • URL: http://www.i.kyushu-u.ac.jp/~hatano/
• [Remarks]
  • URL: http://www.i.kyushu-u.ac.jp/~hatano/
• [Remarks]
  • URL: http://www.i.kyushu-u.ac.jp/~hatano/