ニューラルネットワークのエントロピー最小化学習によるカラー画像からの構造発見

2000 Fiscal Year Annual Research Report

• Project/Area Number: 10480076
• Research Institution: Kyushu University
• Principal Investigator: 新島 耕一 九州大学, 大学院・システム情報科学研究院, 教授 (30047881)
• Co-Investigator(Kenkyū-buntansha): 葛目 幸一 弓削商船高等専門学校, 助教授 (80225151) ; 岡田 義弘 九州大学, 大学院・システム情報科学研究院, 助教授 (70250488)
• Keywords: ニューラルネットワーク / 教師付きエントロピー最大化法 / 自己組織型エントロピー最大化法 / データマイニング / 隠蔽画像 / ウェーブレット変換 / 画像作成システム

Research Abstract

本研究では,ニューラルネットワークの学習法ならびにそれによるデータ,とくに画像からの構造発見が主な研究テーマになっている。3年度は,教師付のエントロピー最大化学習法と隠れユニット削減手法を用いたデータマイニングの研究,ならびに,自己組織型エントロピー最大化学習法とウェーブレット変換を用いた隠蔽画像の発見の研究,画像作成システムの構築を行った。
最初の研究では,隠れ層を含む3層ニューラルネットワークに対して,最大にすべきエントロピー関数を導入するとともに不等式型の教師条件を処罰項としてエントロピー関数に付加し,その関数を最大にする学習法を考案した。また,学習後の結合荷重に対する枝刈り法を新しく導入し,学習されたニューラルネットワークからの規則の発見を可能にした。
次の研究では,ウェーブレット変換と2層ニューラルネットワークに対する自己組織型エントロピー最大化学習法を結合し,画像に隠された別の画像を発見するニューロシステムを構築した。具体的には,まず画像に対してウェーブレット変換を施して高周波画像を取り出し,それを2層ニューラルネットワークに入力し,Bell-Sejnowskiによるエントロピー最大化学習法によってネットワークを学習させた。このようにすると,高周波成分の分布が一般化ガウス分布にしたがうことにより,隠蔽画像を取り出すことができる。
最後の研究では,最終年度に行う予定の3D画像からの構造発見の準備として,アニメーションおよび教育システムにおける画像作成システムも構築した。

Research Products

• [Publications] M.H..Mohamed and K.Niijima: "Extracting rules from neural networks by removing unnecessary connections"Proc.ICSC Symposium on Neural Computation. (CD-ROM). (2000)
• [Publications] M.H.Mohamed and K.Niijima: "Redundant connection effect on the error rate for the neural networks"Proc.Seventh International Conference on Neural Information Processing. 2. 981-985 (2000)
• [Publications] Y.Okada,E.Itoh and S.Hirokawa: "IntelligentBox : Its aspect as a rapid construction system for interactive 3D games"Proc.First International Conference on Intelligent Games and Simulation. 1. 22-26 (2000)
• [Publications] 新島耕一: "発見科学とデータマイニング(分担)"共立出版. 201-206 (2000)