階層型ニューラルネットワークの大域的収束を保証した高速学習アルゴリズム

1993 Fiscal Year Annual Research Report

• Project/Area Number: 05650344
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 坂庭 好一 東京工業大学, 工学部, 教授 (30114870)
• Co-Investigator(Kenkyū-buntansha): 山田 功 東京工業大学, 工学部, 助手 (50230446) ; 植松 友彦 北陸先端科学技術大学院大学, 情報科学研究科, 助教授 (60168656)
• Keywords: ニューラルネットワーク / 高速学習アルゴリズム / 探索領域限定学習法 / 大域的収束 / リプシッツ条件

Research Abstract

ニューラルネットワークの学習アルゴリズムとしては誤差逆伝播アルゴリズムが著名であり,広く使用されている.しかし,誤差逆伝播アルゴリズムによる学習においては,そのスピード(収束速度)ならびに大域的収束が保証されていないという点で問題が残されている.これら2つの問題点は,誤差逆伝播アルゴリズムが最急降下アルゴリズムを基礎としていることに由来し,ネットワーク規模の増大と共に加速的に顕在化する.従って,大規模ニューラルネットワークを構築していく上で,大域的収束性の保証された高速学習アルゴリズムの開発は最も重要な課題の一つである.
本研究では,階層型ニューラルネットワークの学習アルゴリズムとして,大域的収束性を保証した新しい高速アルゴリズムを提案し,その効果を実証している.
本研究で提案した学習アルゴリズムは,「誤差関数ならびにそのグラジェントに対するリプシッツ条件を用いた探索領域限定学習法」と呼ぶものであり,大域的収束を保証しつつ学習の高速化を実現している.また,最急降下アルゴリズムを併用した簡略型のアルゴリズムも提案しており,従来の最急降下アルゴリズムに比べて格段に優れた特性を得ている.更に,階層型ニューラルネットワークの学習における誤差関数とそのグラジェントに対するリプシッツ定数の評価方法を確立している.
以上の方法により,3層のニューラルネットワークにおいて,誤差逆伝播アルゴリズムに比べて,10〜20倍程度の高速化が可能となることを確認している.

Research Products

• [Publications] 宮村,山田,坂庭: "探索領域限定学習法とそのニューラルネットワークへの応用" 第13回情報理論とその応用シンポジウム(SITA'90)講演論文集. 497-502 (1991)
• [Publications] 宮村,山田,坂庭: "探索領域限定学習法の提案とその大域的収束性" 1991(平成3)年電子情報通信学会春季全国大会. D-19. (1991)
• [Publications] 宮村,山田,坂庭: "探索領域限定学習法とそのニューラルネットワークへの応用" 電子情報通信学会技術研究報告. NC91-5. 31-37 (1991)
• [Publications] T.Miyamura,I.Yamada and K.Sakaniwa: "Restricted Learning Algorithm and Its Application to Neural Network Training" Proc.of 1991 IEEE Workshop on Neural Networks for Signal Processings. 131-140 (1991)
• [Publications] 山田,宮村,坂庭: "探索領域限定学習と非探索領域の改良" 電子情報通信学会論文誌(D-II). (発表予定). (1994)