• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

学習におけるスパース表現と並列処理に関する研究

Research Project

Project/Area Number 05267209
Research Category

Grant-in-Aid for Scientific Research on Priority Areas

Allocation TypeSingle-year Grants
Research InstitutionIbaraki University

Principal Investigator

松山 泰男  茨城大学, 工学部, 教授 (60125804)

Project Period (FY) 1993
Project Status Completed (Fiscal Year 1993)
Budget Amount *help
¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 1993: ¥1,200,000 (Direct Cost: ¥1,200,000)
Keywordsスパース表現 / ペナルティ / エントロピ / ダイバージェンス / 学習 / 大域最適解
Research Abstract

本研究は,コネクショニズム的情報表現について,どのような学習ペナルティを課せば望ましい性能を得られるのかについて調べることを課題としている.まず競合学習についてであるが,Mをニューロンの数,Nをデータの数とすると,次のような二つの場合がある.
[M<N型]まず,研究代表者は,ダイバージェンスを付加項に加えることにより,log-conscienceという競合ペナルティを導出した.この量をバイアスとする学習を行うと,劣悪な局所最適解に捕まることが少なくなる.さらに,この対数バイアスを用いて重みベクトルの突然変異を行うと,学習結果はほぼ問違いなく大域最適解の周辺に収束することを確認できた.[M<N型]これは正則化の問題となっている.具体例としては,従来の組合わせ最適化法では近似解すら求まっていなかったextended vehicle routing問題を取り上げ,良好な近似解を得ることができた.
誤差逆伝播学習における付加項の問題については,ダイバージェンス層とエントロピ属について調べた.凸型の出力ペナルティは,連続値を扱う場合のスパースコーディングに相当している.排他適論理和のように0-1パターンを入力とする場合には,凹型であるダイバージェンスを用いると,誤差が一桁以上も小さくなることを確認できた.また,結合重みに対してダイバージェンスをペナルティとして課しても,結合の間引き効果が現れることを発見した.
以上のように,今年度の研究課題として設定した学習時のペナルティ項は,パターンのコーディン方法に深く影響し,性能を向上させるものであることが分かった.

Report

(1 results)
  • 1993 Annual Research Report
  • Research Products

    (4 results)

All Other

All Publications (4 results)

  • [Publications] Y.Matsuyama & M.Kobayashi: "Fitting Competition" Proc.World Congress on Neural Networks. II. 567-574 (1993)

    • Related Report
      1993 Annual Research Report
  • [Publications] Y.Matsuyama: "Competitive Learning among Massively Parallel Agents" Neural,Parallel & Scientific Computations. 1. 181-198 (1993)

    • Related Report
      1993 Annual Research Report
  • [Publications] Y.Matsuyama & M.Tan: "Multiply Descent Cost Competitive Learning as an Aid for Maltimedia Image Processing" Proc.Int.Joint Conference on Neural Networks. 3. 2061-2064 (1993)

    • Related Report
      1993 Annual Research Report
  • [Publications] Y.Matsuyama & M.Tan: "Digital Movies Using Optimized Feature Maps" Proc.Int.Conference on Neural Networks. x. x-y (1994)

    • Related Report
      1993 Annual Research Report

URL: 

Published: 1993-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi