2004 Fiscal Year Annual Research Report

複雑なパターンに対する学習及び認識能力に優れたニューラルネツトワークの構築

Research Project

Project/Area Number	15500150
Research Institution	Sendai National College of Technology
Principal Investigator	藤木なほみ仙台電波工業高等専門学校, 教授 (60259801)
Keywords	フィードフォワード型 / 層状ニューラルネットワーク / カルバック測度 / 手書き文字 / 認識能力 / 学習能力 / 確率ニューロン / 逆問題
Research Abstract	フィードフォワード型の層状ニューラルネットワークの学習則を導出する際に,カルバック測度を用いることでネットワークの能力が格段に向上することはすでに報告されている。従来の自乗誤差を評価関数とするものと違い,このネットワークはサイズを大きくすることで,単調に学習能力が向上すると言う特徴がある。この特徴から,ネットワークサイズを大きくすることで,学習効率を高め,容易に学習度合を調整することが出来る。申請研究は,このネットワークの特長を活かし同じネットワークの学習の度合いを調整することで,学習データの曖昧さを許容しない正確な識別能力と,欠損や雑音が混入された曖昧さを伴ったデータや未学習の同種のデータの認識を行う汎化能力という,一見相反する2つの能力に優れたネットワークを構築することを目的に行ってきた。これまでの研究において、提案するネットワークは高い識別能力と損傷回復能力を持つことを示した。平成16年度には,手書き文字の認識能力とネットワークサイズの関係に注目し、正規化処理を行った手書き数字のデータを用い、学習能力と未学習データの認識能力が,ネットワークサイズの拡大とともにどのように向上するか検討した。その結果、単純にネットワークサイズを大きくすることで、ほぼ100%の識別率と95%以上の未学習データに対する認識能力を容易に得ることができることが示された。これらの成果は平成16年度電気関係学会東北支部連合大会,情報処理学会東北支部の研究会などで報告された。また、仙台電波工業高等専門学校の研究紀要に発表された。一方,ネットワークが確率的に状態を決定するニューロンによって構成された場合の確率的フィードフォワード型層状ニューラルネットワークを構築し、XORの入出力関係を逆転させた逆問題を提案、その学習能力を検討した。その結果、任意の確率で実現される入出力関係を3層構造のネットワークで容易に表現できることを示し、このネットワークの逆問題などへの応用の可能性を示した。これらの成果は仙台電波工業高等専門学校の研究紀要に発表された。