知識処理による学習機構を用いた大規模情報圧縮に関する研究

2001 年度 実績報告書

• 研究課題/領域番号: 12750371
• 研究機関: 久留米工業高等専門学校
• 研究代表者: 前田 道治 久留米工業高等専門学校, 制御情報工学科, 講師 (70300647)
• キーワード: 情報圧縮 / 知識処理 / 神経回路網 / 競合学習 / 削減法 / 生成法 / 平均ひずみ

研究概要

本研究では、平均ひずみの最小化の視点に立ち、あらかじめ設定された数の条件下で、神経細胞の削減による新たな手法を提案した。第一の手法は適応削減法であり、局所的な情報による学習ある。まず、多くの参照ベクトルが用意され、競合学習により処理される。そして、参照ベクトルは、部分ひずみの基準に従って、設定された数まで逐次的に削除される。第二の手法は感応削減法である。これは、大域的情報による学習過程で、神経細胞の貢献度により、冗長な参照ベクトルを削減する方法である。はじめに、多くの参照ベクトルが準備され、競合学習により処理される。つぎに、参照ベクトルを一旦削除して、最小の平均ひずみを与えるように冗長な参照ベクトルが削減される。数値実験として、様々な2次元パターンに対して、従来モデルと比較した。結果として、平均ひずみ及び部分ひずみの標準偏差に基づいて、提案手法は従来手法より有効であった。特に、適応削減法は感応削減法より少ない計算量で処理できる。また、感応削減法は適応削減法より平均ひずみが小さくなる。更に、両手法に関して初期のベクトル数に対する平均ひずみへの影響を調べた。様々な入力パターンに対して、平均ひずみは異なる傾向を示すことが分かった。ただし、削減手法を有することにより、従来手法より良い結果を示すことも分かった。
更に、本研究では、部分空間の入力数が互いに等しいとき、部分ひずみは互いに等しくなることを示し、平均ひずみは漸近的に最小値を与えることを述べた。そして、この等入力原理に基づき、生成型の競合学習を提案した。本手法は近傍関係のないユニットで構成され、部分空間の入力数を等しくする方法である。まず、初期の段階で一つの出力ユニットが与えられ、そのユニットに対応した参照ベクトルが競合学習によって更新される。続いて、出力ユニットは等入力原理に基づいて、あらかじめ設定された数に到達するまで逐次的に生成される。そして、終了条件を満たすまで競合学習が実行される。数値実験は、人工的に作成された入力パターンによって、及び画像処理で用いられる画像データによって、達成される。神経回路網のベクトル量子化で高品質な従来のアルゴリズムと比較し、本手法の有効性を議論した。

研究成果

• [文献書誌] M.Maeda, H.Miyajima: "Neighborhood Ranking of Self-Organizing Neural Networks for Information Compression"Proc.Int.Conf.Neural Information Processing. Vol.2. 975-980 (2000)
• [文献書誌] M.Maeda, H.Miyajima: "Competitive Learning Algorithms Founded on Adaptivity and Sensitivity Deletion Methods"IEICE Trans. Fundamentals. Vol.E83-A, no.12. 2770-2774 (2000)
• [文献書誌] M.Maeda, H.Miyajima: "Properties of Deletion Methods in Competitive Learning"IEEE Proc.Int.Symp.Circuits and Systems. Vol.III. 707-710 (2001)
• [文献書誌] M.Maeda, H.Miyajima: "Creation Method of Competitive Learning with Inputs in Partition Space"IASTED Proc.Int.Conf.Artificial Intelligence and Applications. Vol.1. 20-25 (2001)
• [文献書誌] M.Maeda, M.Ohta, H.Miyajima: "An Algorithm of Statistical Mechanics for Image Restoration"IEICE Proc. Int. Symp. Nonlinear Theory and its Applications. Vol.1. 107-110 (2001)
• [文献書誌] M.Maeda, H.Miyajijma: "Adaptive Vector Quantization with Deletion Method Based on Equinumber of Inputs in Partition Space"WSEAS/IEEE Proc.Int.Conf.Circuits, Systems, Communications and Computers. (in press). (2002)