• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

階層型ニューラルネットワークの大域的収束を保証した高速学習アルゴリズム

研究課題

研究課題/領域番号 05650344
研究種目

一般研究(C)

配分区分補助金
研究分野 情報通信工学
研究機関東京工業大学

研究代表者

坂庭 好一  東京工業大学, 工学部, 教授 (30114870)

研究分担者 山田 功  東京工業大学, 工学部, 助手 (50230446)
植松 友彦  北陸先端科学技術大学院大学, 情報科学研究科, 助教授 (60168656)
研究期間 (年度) 1993
研究課題ステータス 完了 (1993年度)
配分額 *注記
2,100千円 (直接経費: 2,100千円)
1993年度: 2,100千円 (直接経費: 2,100千円)
キーワードニューラルネットワーク / 高速学習アルゴリズム / 探索領域限定学習法 / 大域的収束 / リプシッツ条件
研究概要

ニューラルネットワークの学習アルゴリズムとしては誤差逆伝播アルゴリズムが著名であり,広く使用されている.しかし,誤差逆伝播アルゴリズムによる学習においては,そのスピード(収束速度)ならびに大域的収束が保証されていないという点で問題が残されている.これら2つの問題点は,誤差逆伝播アルゴリズムが最急降下アルゴリズムを基礎としていることに由来し,ネットワーク規模の増大と共に加速的に顕在化する.従って,大規模ニューラルネットワークを構築していく上で,大域的収束性の保証された高速学習アルゴリズムの開発は最も重要な課題の一つである.
本研究では,階層型ニューラルネットワークの学習アルゴリズムとして,大域的収束性を保証した新しい高速アルゴリズムを提案し,その効果を実証している.
本研究で提案した学習アルゴリズムは,「誤差関数ならびにそのグラジェントに対するリプシッツ条件を用いた探索領域限定学習法」と呼ぶものであり,大域的収束を保証しつつ学習の高速化を実現している.また,最急降下アルゴリズムを併用した簡略型のアルゴリズムも提案しており,従来の最急降下アルゴリズムに比べて格段に優れた特性を得ている.更に,階層型ニューラルネットワークの学習における誤差関数とそのグラジェントに対するリプシッツ定数の評価方法を確立している.
以上の方法により,3層のニューラルネットワークにおいて,誤差逆伝播アルゴリズムに比べて,10〜20倍程度の高速化が可能となることを確認している.

報告書

(1件)
  • 1993 実績報告書
  • 研究成果

    (5件)

すべて その他

すべて 文献書誌 (5件)

  • [文献書誌] 宮村,山田,坂庭: "探索領域限定学習法とそのニューラルネットワークへの応用" 第13回情報理論とその応用シンポジウム(SITA'90)講演論文集. 497-502 (1991)

    • 関連する報告書
      1993 実績報告書
  • [文献書誌] 宮村,山田,坂庭: "探索領域限定学習法の提案とその大域的収束性" 1991(平成3)年電子情報通信学会春季全国大会. D-19. (1991)

    • 関連する報告書
      1993 実績報告書
  • [文献書誌] 宮村,山田,坂庭: "探索領域限定学習法とそのニューラルネットワークへの応用" 電子情報通信学会技術研究報告. NC91-5. 31-37 (1991)

    • 関連する報告書
      1993 実績報告書
  • [文献書誌] T.Miyamura,I.Yamada and K.Sakaniwa: "Restricted Learning Algorithm and Its Application to Neural Network Training" Proc.of 1991 IEEE Workshop on Neural Networks for Signal Processings. 131-140 (1991)

    • 関連する報告書
      1993 実績報告書
  • [文献書誌] 山田,宮村,坂庭: "探索領域限定学習と非探索領域の改良" 電子情報通信学会論文誌(D-II). (発表予定). (1994)

    • 関連する報告書
      1993 実績報告書

URL: 

公開日: 1993-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi