研究課題
基盤研究(C)
機械学習において、記号的モデルと非(サブ)記号的モデルがある。記号的モデルは理解しやすい利点がある反面、環境の変化に適応しにくい欠点がある。一方で、非記号的モデルは、学習によって上手く環境に適応できるが、ブラックボックスであるため、理解しにくい欠点がある。本研究では、ニューラルネット(NN)と決定木(DT)を結合することによって、学習と理解を同時に行えるかについて検討する。本研究に利用されるモデルはニューラルネットツリー(NNTree)である。このモデルを利用する際に、構築コストは高く、学習結果はそのまま理解しにくいなどの問題点がある。17年度では、まず、構築コストを低減するために、各中間ノードにあるNNの学習方法をいままでに使われてきた進化的学習から教師あり学習に変えた。ここでポイントとなるのは、教師信号を与えるHeuristicな方法である。この方法を基に、NNTree構築の高速化に成功した。次に、NNTreeの理解しやすさを高めるために、中間ノードに使われているテスト関数をNNから最近傍識別器(NNC)に変えた。この変更によって得られた多変数決定木のことをNNC-Treeという。NNCのプロトタイプを「前例」として考えれば、NNCはそのままわかりやすいルールとなる。NNC-Treeを構築するために、本研究者が以前提案したR^4-ruleを使う。この方法は、精度が高く、コンパクトで理解しやすいNNC-Treeが構築できる。18年度の主な貢献としては、NNC-Treeの構築をより効率的に行うための「注意学習法」と「次元圧縮法」を提案した。注意学習法は、各中間ノードにおいて、NNCの学習に使われる訓練データの中で、学習しにくいものに注意を払い、学習しやすいものをできるだけスキップする方法である。これにより、性能を保ちつつ、構築時間を8割以上減らすことが出来た。この方法は、データが多いときに有効である。次元圧縮法は、主成分分析法(PCA)などを利用して、問題空間を高い次元から低い次元に圧縮してから木を構築する方法である。この方法は、もとの問題空間が非常に大きい場合(例えば、画像認識など)に有効である。今後の課題としては、不完全データが与えられたとき、また特徴の重要性とコストを考慮するとき、NNC-Treeの効率的構築法を検討したい。構築結果の解釈と可視化についても検討していきたい。
すべて 2006 2005
すべて 雑誌論文 (23件) 産業財産権 (2件)
IEEE Trans. on Systems, Man, and Cybernetics - Part B 36, 3
ページ: 520-533
Proe. IEEE International Conference on Systems, Man, and Cybernetics (SMC06)
ページ: 2784-2789
Proc. IEEE International Congress on Evolutionary Computation (CEC06)
ページ: 2638-2643
IEEE Trans. on Systems, Man, and Cybernetics-Part B Vol.36, No.3
Proc.IEEE International Conference on Systems, Man and Cybernetics
Proc.IEEE International Congress on Evolutionary Computation, Vancouver, BC, Canada
Proc. IEEE International Conference on Systems, Man, and Cybernetics (SMC06)
IEEE Trans.on SMC-B Vol.36, NO.3(to appear)
Neural, Parallel and Scientific Computations 13, 3/4
ページ: 287-296
Lecture Notes in Computer Science, Springer (Proc. International Symposium on Ubiquitous Intelligence and Smart World) 3823
ページ: 519-528
Proc. IEEE International Conference on Systems, Man, and Cybernetics (SMC05)
ページ: 822-826
ページ: 3593-3598
Proc. 8^<th> International Conference on Pattern Recognition and Information Processing (PRIP05), Keynote Speech
ページ: 359-362
Neural, Parallel and Scientific Computations Vol.13, No. 3/4
Proc.2nd International Symposium on Ubiquitous Intelligence and Smart Worlds, Nagasaki, (Lecture Notes in Computer Science 3823, Springer).
Proc.IEEE International Conference on Systems, Man and Cybernetics, Waikoloa, Hawaii
Proc.8th International Conference on Pattern Recognition and Information Processing, Keynote Speech
Neural, Parallel and Scientific Computations Vol.13, No.3-4
