関数近似の手法に基づくニューラルネットワークの構成と学習に関する研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06780324
• Research Institution: Kyushu University
• Principal Investigator: 宮崎 明雄 九州大学, 工学部, 助教授 (70192763)
• Keywords: ニューラルネットワーク / 学習 / 関数近似 / 標準正則化理論 / GRBFネットワーク / 射影定理 / パターン識別 / 識別関数

Research Abstract

本研究では,ニューラルネットワークの構成問題と学習問題をスプライン・ウェーブレット理論,標準正則化理論などの関数近似理論を応用して取り扱い,効率的での発展性のあるニューラルネットワークの設計手法を確立することを目的として研究を行った.その結果,以下の研究成果を得た.
1.入出力写像の近似・学習問題を標準正則化理論に基づいて定式化し,入出力写像の近似関数をGRBF(一般化円形基底関数)ネットワークによって構成するための方法を与えた.さらに,この近似関数をニューラルネットワークへ変換するための公式を導いた.
2.上記のネットワーク変換公式と整数計画法を用いることにより,ある種のパターンクラス識別問題を解く回路が3層のニューラルネットワークとしてシステマティックに構成されることを示した.その結果,現在,実験や経験に基づいて試行錯誤の繰り返しにより行われているニューラルネットワークの設計を効率的に行えるようになった.
3.確率統計的なベイズ決定理論を援用した統計的パターン認識において,事後確率密度関数を直交関数展開することにより,認識関数が一般に高次の関数(有理型関数)として構成されることを示した.さらに,この識別関数を多項式ネットワーク,ロジスティックネットワークなどの多層回路網により表現・近似した.
4.上記3に関連して,確率密度関数のウェーブレット関数系による推定について検討した.また,不連続な関数をフーリエ級数展開したときに生じるGibbs現象がウェーブレット級数展開においても生じるかどうかについて調べた.その結果,Gibbs現象の発生がウェーブレット関数と密接な関係にあるスケール関数の性質に依存して決まることを示し,Gibbs現象が現れるための条件を明らかにした.また,Gibbs現象が生じないようなウェーブレットを選ぶことが可能であることも示し、例としてスプライン-ウェーブレットを挙げた.

Research Products

• [Publications] 宮崎 明雄: "GRBF(一般化円形基底関数)ネットワークと整数計画法に基づくニューラルネットワークの一構成法" 電子情報通信学会 第7回 回路とシステム軽井沢ワークショップ論文集. 127-132 (1994)
• [Publications] 宮崎 明雄: "ウェーブレット変換と信号処理" 電子情報通信学会 第7回 回路とシステム軽井沢ワークショップ論文集. 187-192 (1994)
• [Publications] Akio MIYAZAKI: "A Study on the Optimal Choice of Wavelet Packet Bases for signal compression" Proc.of 1994 Joint Technical Confercnce on Circuits/Systems,Computers and Communications. Vol.1. 590-595 (1994)
• [Publications] 宮崎 明雄: "ウェーブレット級数展開におけるGibbs現象の解析" 電子情報通信学会 第9回ディジタル信号処理シンポジウム論文集. 265-270 (1994)
• [Publications] 宮崎 明雄: "統計的パターン認識における高次識別関数の層状回路網による構成" 第17回情報理論とその応用シンポジウム論文集. Vol.1. 309-312 (1994)
• [Publications] 小紫浩史: "CMOSアナログ方式によるGRBF(一般化円形基底関数)ネットワーク回路" 電気学会電子回路研究会資料. ECT-95-10. (1995)