A Study on Methods for Automatically Finding Important Features in Sequential Labeling

2013 Fiscal Year Final Research Report

• Project/Area Number: 22500121
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Intelligent informatics
• Research Institution: Ehime University
• Principal Investigator: NINOMIYA TAKASHI 愛媛大学, 理工学研究科, 准教授 (20444094)
• Project Period (FY): 2010-04-01 – 2013-03-31
• Keywords: 自然言語処理 / 機械学習 / オンライン学習 / 素性選択 / ロジスティック回帰 / L1正則化

Research Abstract

In natural language processing, millions of feature functions are defined for the discriminative models used in many natural language tasks. These feature functions are elaborated by human experts, but it is obviously not easy even for the human experts to find and develop such millions of feature functions by hands. This research proposes efficient methods for online grafting and ensemble methods for improving accuracy of online grafting. Online grafting is a method for automatically selecting features and optimizing the parameters in L1-regularized logistic regression. The experiments have shown that our methods significantly improved efficiency of online grafting. Though our methods are approximation techniques, deterioration of prediction performance was negligibly small. The ensemble methods using probabilistic algorithms achieved to improve the accuracy of online grafting.

Research Products

• [Journal Article] Personalized Reading Support for Second-Language Web Documents (2013)
  • Author(s): Yo Ehara, Nobuyuki Shimizu, Takashi Ninomiya and Hiroshi Nakagawa
  • Journal Title: ACM Transactions on Intelligent Systems and Technology (ACM TIST) Volume: vol.4, no.2 Pages: 31:1-31:19
  • DOI: 10.1145/2438653.2438666
  • Peer Reviewed
• [Journal Article] 複数素性の同時テストによるオンライングラフティングの効率化 (2013)
  • Author(s): 大井健吾,二宮崇
  • Journal Title: 日本データベース学会論文誌 Volume: vol.11, no.3 Pages: 15-20
  • URL: http://dbsj.org/wp-content/uploads/journal/vol11/no3/dbsj-journal-11-03-015.pdf.pagespeed.ce.qlYRfTVCEe.pdf
  • Peer Reviewed
• [Journal Article] Efficient Online Feature Selection Based On l1-Regularized Logistic Regression (2013)
  • Author(s): Kengo Ooi and Takashi Ninomiya
  • Journal Title: In Proceedings of the 5th International Conference on Agents and Artificial Intelligence (ICAART 2013) Pages: 277-282
  • URL: http://www.icaart.org/Home.aspx?y=2013
  • Peer Reviewed
• [Presentation] カテゴリ毎に異なるナイーブベイズ分類器を用いた大規模評判分析 (2012)
  • Author(s): 岩田匠,二宮崇
  • Organizer: 平成24年度電気関係学会四国支部連合大会講演
  • Place of Presentation: 香川県高松市(論文集, pp. 285-285 (優秀発表賞を受賞))
  • Year and Date: 2012-09-29
• [Presentation] ディリクレ事前分布付き隠れマルコフモデルにおけるスムージング効果の調査 (2012)
  • Author(s): 矢野裕一朗,二宮崇
  • Organizer: 平成24年度電気関係学会四国支部連合大会講演
  • Place of Presentation: 香川県高松市(論文集, pp. 286-286)
  • Year and Date: 2012-09-29
• [Presentation] オンライングラフティングのパラメータ平均化による集合型学習 (2011)
  • Author(s): 大井健吾,二宮崇
  • Organizer: 平成23年度電気関係学会四国支部連合大会講演
  • Place of Presentation: 徳島県阿南市(論文集, pp. 258-258)
  • Year and Date: 2011-09-23
• [Presentation] オンライングラフティングのアンサンブル学習 (2011)
  • Author(s): 大井健吾,二宮崇
  • Organizer: 情報処理学会第73回全国大会講演
  • Place of Presentation: 東京都目黒区(論文集, vol. 1, pp. 301-302)
  • Year and Date: 2011-03-04
• [Remarks] 二宮崇 主辞駆動句構造文法のための同期文法の実現に向けて 工学ジャーナル vol.11 pp. 178-183 愛媛大学工学部, 2012年
• [Remarks] 二宮崇:シーズ(研究成果)探訪vol.81 データの自動分類とテキストの構文解析―高速化と高精度化―自動的に特徴を学習するオンライン学習と言語学的文法に基づく構文解析 月刊愛媛ジャーナルvol.25 no.7 p.80-82 2011年
• [Remarks] 二宮 崇: HPSG 構文解析とスーパータガー. 愛媛大学数学談話会にて講演,2011 年.