2003 Fiscal Year Annual Research Report

アンサンブル自己生成ニューラルネットワークのオンライン枝刈りアルゴリズムの研究

Research Project

Project/Area Number	15700206
Research Institution	Kure National College of Technology
Principal Investigator	井上浩孝呉工業高等専門学校, 電気情報工学科, 助手 (70353315)
Keywords	ニューラルネットワーク / アンサンブル学習 / 汎化能力改善 / 枝刈り / 記憶容量削減 / 自己組織化
Research Abstract	近年の急速な計算機のCPU、メモリ、ハードディスク等の性能向上により以前では不可能であった大規模な数値計算が可能となった。この計算機の性能を有効に活用し、複数の知的処理システムを用いてそれらの出力を統合し、未知のデータに対する知的処理システムの予測能力、すなわち汎化能力を改善するための手法としてアンサンブル学習が注目されている。また、知的処理システムにおけるニューラルネットワークの一手法として、自己生成ニューラルネットワークは提案された。この自己生成ニューラルネットワークは与えられた訓練データセットより自動的に自己生成ニューラル木を構築するのでネットワークの初期設定が不要なため簡便であり、訓練データを一度提示することで学習を終了するので何度も繰り返し提示して学習を行う他のニューラルネットワーク学習法に比べて高速である。我々は訓練データの提示順をランダムに入れ換えることで複数の自己生成ニューラルネットワークを作成し、それらの出力を統合して汎化能力を改善するアンサンブル自己生成ニューラルネットワークを提案した。更に、使用する自己生成ニューラルネットワークの数に比例して増大する計算コストを削減するため、我々はアンサンブル自己生成ニューラルネットワークのための高速枝刈り法を提案し、枝刈り前と同等の汎化能力を維持しつつ記憶容量を大幅に削減可能であることを示した。本研究では、アンサンブル自己生成ニューラルネットワークの汎化能力を枝刈り前より改善し、かつ記憶容量を更に削減する効率的なオンライン枝刈り法を提案し、従来の手法であるk-近傍法、C4.5と汎化能力、計算コストを総合的に比較検討する。既発表の枝刈り法は全てのデータを提示して木を構築した後に枝刈りを行っているが、これを木を構築する際に逐次枝刈りを行うことで探索効率を改善し、計算コストを削減する。また、枝刈りの際、しきい値を用いて、ある部分木内の最多クラスがしきい値以上の割合を占有すれば、最多クラスを代表クラスとしてその部分木を刈り取ることで枝刈りを行し、冗長な情報を削減し、汎化能力を改善する。このしきい値の決定には、10群交差検定法を用いる。実験結果より、本手法は従来の手法を上回るもしくは同等の汎化能力をより低コストで実現することが明らかとなった。

Research Products

(6 results)

All Other

All Publications (6 results)

[Publications] H.Inoue, H.Narihisa: "Efficient Pruning Method for Ensemble Self-Generating Neural Networks"Journal of Systemics, Cybernetics and Informatics. Vol.1, No.6. (2003)
[Publications] H.Inoue, H.Narihisa: "Improving Performance of a Multiple Classifier System Using Self-Generating Neural Networks"Proc.of 4^<th> International Workshop on Multiple Classifier Systems. LNCS2709(Springer). 256-265 (2003)
[Publications] H.Inoue, H.Narihisa: "Effective Pruning Method for a Multiple Classifier System Based on Self-Generating Neural Networks"Proc.of 13^<th> International Conference on Artificial Neural Networks. LNCS2714(Springer). 11-18 (2003)
[Publications] H.Inoue, H.Narihisa: "Efficient Pruning Method for Ensemble Self-Generating Neural Networks"Proc.of International Conference on Computer Communication and Control Technologies. Vol.1. 58-63 (2003)
[Publications] H.Inoue, H.Narihisa: "SONG : Self-Organizing Neural Grove"Proc.of 3^<rd> International Workshop on Self-Organizing Maps. (2003)
[Publications] 井上浩孝, 成久洋之: "アンサンブル自己生成ニューラルネットワークのオンライン枝刈り法"電気・情報関連学会中国支部連合大会講演論文集. 533-534 (2003)

2003 Fiscal Year Annual Research Report

アンサンブル自己生成ニューラルネットワークのオンライン枝刈りアルゴリズムの研究

Principal Investigator

井上 浩孝 呉工業高等専門学校, 電気情報工学科, 助手 (70353315)

Research Products

[Publications] H.Inoue, H.Narihisa: "Efficient Pruning Method for Ensemble Self-Generating Neural Networks"Journal of Systemics, Cybernetics and Informatics. Vol.1, No.6. (2003)

[Publications] H.Inoue, H.Narihisa: "Improving Performance of a Multiple Classifier System Using Self-Generating Neural Networks"Proc.of 4^<th> International Workshop on Multiple Classifier Systems. LNCS2709(Springer). 256-265 (2003)

[Publications] H.Inoue, H.Narihisa: "Effective Pruning Method for a Multiple Classifier System Based on Self-Generating Neural Networks"Proc.of 13^<th> International Conference on Artificial Neural Networks. LNCS2714(Springer). 11-18 (2003)

[Publications] H.Inoue, H.Narihisa: "Efficient Pruning Method for Ensemble Self-Generating Neural Networks"Proc.of International Conference on Computer Communication and Control Technologies. Vol.1. 58-63 (2003)

[Publications] H.Inoue, H.Narihisa: "SONG : Self-Organizing Neural Grove"Proc.of 3^<rd> International Workshop on Self-Organizing Maps. (2003)

[Publications] 井上浩孝, 成久洋之: "アンサンブル自己生成ニューラルネットワークのオンライン枝刈り法"電気・情報関連学会中国支部連合大会講演論文集. 533-534 (2003)

井上浩孝呉工業高等専門学校, 電気情報工学科, 助手 (70353315)