研究課題
機械学習において、記号的モデルと非(サブ)記号的モデルがある。記号的モデルは理解しやすい利点がある反面、環境の変化に適応しにくい欠点がある。一方で、非記号的モデルは、学習によって上手く環境に適応できるが、ブラックボックスであるため、理解しにくい欠点がある。本研究では、ニューラルネット(NN)と決定木(DT)を結合することによって、学習と理解を同時に行えるかについて検討する。本研究に利用されるモデルはニューラルネットツリー(NNTree)である。このモデルを利用する際に、構築コストは高く、学習結果はそのまま理解しにくいなどの問題点がある。17年度では、まず、構築コストを低減するために、各中間ノードにあるNNの学習方法をいままでに使われてきた進化的学習から教師あり学習に変えた。ここでポイントとなるのは、教師信号を与えるHeuristicな方法である。この方法を基に、NNTree構築の高速化に成功した。次に、NNTreeの理解しやすさを高めるために、中間ノードに使われているテスト関数をNNから最近傍識別器(NNC)に変えた。この変更によって得られた多変数決定木のことをNNC-Treeという。NNCのプロトタイプを「前例」として考えれば、NNCはそのままわかりやすいルールとなる。NNC-Treeを構築するために、本研究者が以前提案したR^4-ruleを使う。この方法は、精度が高く、コンパクトで理解しやすいNNC-Treeが構築できる。18年度の主な貢献としては、NNC-Treeの構築をより効率的に行うための「注意学習法」と「次元圧縮法」を提案した。注意学習法は、各中間ノードにおいて、NNCの学習に使われる訓練データの中で、学習しにくいものに注意を払い、学習しやすいものをできるだけスキップする方法である。これにより、性能を保ちつつ、構築時間を8割以上減らすことが出来た。この方法は、データが多いときに有効である。次元圧縮法は、主成分分析法(PCA)などを利用して、問題空間を高い次元から低い次元に圧縮してから木を構築する方法である。この方法は、もとの問題空間が非常に大きい場合(例えば、画像認識など)に有効である。今後の課題としては、不完全データが与えられたとき、また特徴の重要性とコストを考慮するとき、NNC-Treeの効率的構築法を検討していきたい。構築結果の解釈と可視化についても検討していきたい。
すべて 2006
すべて 雑誌論文 (3件) 産業財産権 (2件)
IEEE Trans. on Systems, Man, and Cybernetics - Part B 36, 3
ページ: 520-533
Proc. IEEE International Conference on Systems, Man, and Cybernetics (SMC06)
ページ: 2784-2789
Proc. IEEE International Congress on Evolutionary Computation (CEC06)
ページ: 2638-2643
