• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2006 Fiscal Year Annual Research Report

ニューラルネットツリーに基づく学習と理解

Research Project

Project/Area Number 17500148
Research InstitutionUniversity of Aizu

Principal Investigator

趙 強福  会津大学, コンピュータ理工学部, 教授 (90260421)

Co-Investigator(Kenkyū-buntansha) YONG Liu  会津大学, コンピュータ理工学部, 助教授 (60325967)
Keywords機械学習 / パターン認識 / 学習と理解 / ニューラルネット / 最近傍識別器 / ニューラルネットツリー / 多変数決定木 / 決定木
Research Abstract

機械学習において、記号的モデルと非(サブ)記号的モデルがある。記号的モデルは理解しやすい利点がある反面、環境の変化に適応しにくい欠点がある。一方で、非記号的モデルは、学習によって上手く環境に適応できるが、ブラックボックスであるため、理解しにくい欠点がある。本研究では、ニューラルネット(NN)と決定木(DT)を結合することによって、学習と理解を同時に行えるかについて検討する。本研究に利用されるモデルはニューラルネットツリー(NNTree)である。このモデルを利用する際に、構築コストは高く、学習結果はそのまま理解しにくいなどの問題点がある。
17年度では、まず、構築コストを低減するために、各中間ノードにあるNNの学習方法をいままでに使われてきた進化的学習から教師あり学習に変えた。ここでポイントとなるのは、教師信号を与えるHeuristicな方法である。この方法を基に、NNTree構築の高速化に成功した。次に、NNTreeの理解しやすさを高めるために、中間ノードに使われているテスト関数をNNから最近傍識別器(NNC)に変えた。この変更によって得られた多変数決定木のことをNNC-Treeという。NNCのプロトタイプを「前例」として考えれば、NNCはそのままわかりやすいルールとなる。NNC-Treeを構築するために、本研究者が以前提案したR^4-ruleを使う。この方法は、精度が高く、コンパクトで理解しやすいNNC-Treeが構築できる。
18年度の主な貢献としては、NNC-Treeの構築をより効率的に行うための「注意学習法」と「次元圧縮法」を提案した。注意学習法は、各中間ノードにおいて、NNCの学習に使われる訓練データの中で、学習しにくいものに注意を払い、学習しやすいものをできるだけスキップする方法である。これにより、性能を保ちつつ、構築時間を8割以上減らすことが出来た。この方法は、データが多いときに有効である。次元圧縮法は、主成分分析法(PCA)などを利用して、問題空間を高い次元から低い次元に圧縮してから木を構築する方法である。この方法は、もとの問題空間が非常に大きい場合(例えば、画像認識など)に有効である。
今後の課題としては、不完全データが与えられたとき、また特徴の重要性とコストを考慮するとき、NNC-Treeの効率的構築法を検討していきたい。構築結果の解釈と可視化についても検討していきたい。

  • Research Products

    (5 results)

All 2006

All Journal Article (3 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] Inducing NNC-Trees with the R4-rule2006

    • Author(s)
      Qiangfu Zhao
    • Journal Title

      IEEE Trans. on Systems, Man, and Cybernetics - Part B 36, 3

      Pages: 520-533

  • [Journal Article] Inducing NNC-Trees quickly2006

    • Author(s)
      Qiangfu Zhao
    • Journal Title

      Proc. IEEE International Conference on Systems, Man, and Cybernetics (SMC06)

      Pages: 2784-2789

  • [Journal Article] Evolving NNTrees more efficiently2006

    • Author(s)
      Hirotomo Hayashi, Qiangfu Zhao
    • Journal Title

      Proc. IEEE International Congress on Evolutionary Computation (CEC06)

      Pages: 2638-2643

  • [Patent(Industrial Property Rights)] 多変数決定木構築システム、多変数決定木構築方法および多変数決定木を構築するためのプログラム2006

    • Inventor(s)
      趙 強福
    • Industrial Property Rights Holder
      会津大学
    • Industrial Property Number
      特許、特願2006-034343
    • Filing Date
      2006-02-10
    • Description
      「研究成果報告書概要(和文)」より
  • [Patent(Industrial Property Rights)] 多変数テスト関数生成装置、多変数テスト関数生成システム、多変数テストかすう生成方法および多変数テスト関数生成するためのプログラム2006

    • Inventor(s)
      趙 強福
    • Industrial Property Rights Holder
      会津大学
    • Industrial Property Number
      特許、特願2006-034344
    • Filing Date
      2006-02-10
    • Description
      「研究成果報告書概要(和文)」より

URL: 

Published: 2008-05-08   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi