汎化エントロピー評価基準に基づくデータ組織化のためのオンラインアルゴリズム

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13480074
• Research Institution: Tohoku University
• Principal Investigator: 丸岡 章 東北大学, 大学院・情報科学研究科, 教授 (50005427)
• Co-Investigator(Kenkyū-buntansha): 天野 一幸 東北大学, 大学院・情報科学研究科, 助手 (30282031) ; 瀧本 英二 東北大学, 大学院・情報科学研究科, 助教授 (50236395)
• Keywords: ブースティング / 例題からの学習 / オンライン学習アルゴリズム / プルーニング / 決定木ブースティング / 汎化エントロピー / 学習曲線 / 過学習

Research Abstract

本年度の実績の概要は次のとおりである。
1 精度の低い仮説(弱仮説)を決定木の節点に割り当てたものを精度の高い仮説(強仮説)として出力する決定木ブースティングのアルゴリズムを提案した。また、このアルゴリズムは追加する節点と割り当てる弱仮説を決定するのに汎化エントロピーを用いるものであり、汎化エントロピーの凸性に基づき決定木ブースティングの性能を評価した。
2 例題からの学習で得られた決定木は、一般に学習に用いた例題に過学習しており、それ以外の例題を良く説明するとは限らない。そこで、与えられた決定木の最適プルーニングを求める問題を取りあげ、例題の系列が与えられたとき、これらの例題で矛盾するものが最も少ないという意味で最適のプルーニングをオンラインで求めるアルゴリズムを提案した。
3 与えられた例題の系列上で重みを更新して、この重みの分布のもとでオラクルから弱仮説をもらうということを繰り返し、最後これらの弱仮説を統合するブースティングにInfoBoostと呼ばれるものがある。このInfoBoostが多値分類問題に拡張できることを、Passive InfoBoostと呼ばれるブースティングアルゴリズムを与えることにより示すとともに、このアルゴリズムの限界を示した。
4 一般に学習の過程を観察すると、時間の経過とともに急激に学習が進むことがある。典型的な学習アルゴリズムにおいても学習に用いる例題の個数に対して、得られる仮説の誤差をプロットして得られる学習曲線を求め、同様の結果が得られることを示した。Rademacher平均と呼ばれる量を導入することにより、学習曲線が用いた例題の系列に依存して変わる可能性を示唆する結果を得た。
5 従来のInfoBoostのアルゴリズムに過学習を回避するために、エントロピーが近い値の領域を合併するという操作を組み込んだブースティングアルゴリズムを提案した。

Research Products

• [Publications] Kazuyuki Amano, Akira Maruoka: "On the Negation-Limited Circuit Complexity of Merging"Discrete Applied Mathematics. Vol.126. 3-8 (2003)
• [Publications] Kazuyuki Amano, Akira Maruoka: "On Learning Monotone Boolean Functions under the Uniform Distribution"Proc. of ALT 2002, Lecture Notes in Computer Science. Vol.2533. 57-68 (2002)
• [Publications] Eiji Takimoto, Manfred Warmuth: "Path Kernels and Multiplicative Updates"Computational Learning Theory, Lecture Notes in Artificial Intelligence. Vol.2375. 74-89 (2002)
• [Publications] Akira Maruoka, Eiji Takimoto: "On-Line Algorithm to Predict Nearly as Well as the Best Pruning of a Decision Tree"Progress in Discovery Science, Lecture Notes in Artificial Intelligence. Vol.2281. 296-306 (2002)
• [Publications] Eiji Takimoto, Akira Maruoka: "Top-Down Decision Tree Boosting and Its Applications"Progress in Discovery Science, Lecture Notes in Artificial Intelligence. Vol.2281. 327-337 (2002)
• [Publications] Eiji Takimoto, Manfred Warmuth: "Predicting nearly as well as the best pruning of planar decision graph"Theoretical Computer Science. Vol.288 No.2. 217-235 (2002)