• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2008 Fiscal Year Annual Research Report

情報量最大化による競合学習の実現とその応用

Research Project

Project/Area Number 18500179
Research InstitutionTokai University

Principal Investigator

上村 龍太郎  Tokai University, 情報教育センター, 教授 (80176643)

Co-Investigator(Kenkyū-buntansha) 内田 理  東海大学, 情報理工学部, 講師 (50329306)
竹内 晴彦  産業技術総合研究所, サービス工学研究センター, 主任研究員 (00357401)
Keywordsニューラルネットワーク / 競合学習 / 相互情報量 / 情報エンハンスメント / 情報損失 / 自由エネルギー / SOM / 特徴抽出
Research Abstract

競合学習は、情報量最大化によって実現されることを実証してきた。本年度は、次の二つの点について集中的に研究を行った。すなわち、学習の高速化と特徴抽出である。
まず、情報競合学習の加速化である。競合学習は相互情報量を最大化することによって実現できることは研究の過程でほぼ証明できたと考える。しかし、相互情報量最大化は従来の競合学習と比較するとかなりの計算時間が必要であり、実用的な問題に応用することが困難であることがわかってきている。そこで、昨年度に続き、相互情報量の最大化を簡単にするために、自由エネルギーを用いた。
自由エネルギーを用いることによって相互情報量の計算は非常に簡単になることがわかった。また、自由エネルギーによる学習をさらに安定化させる方法を提案した。
特徴抽出では、情報量損失と情報エンハンスメントの二つの方法を開発した。情報損失法は、ある特定の部分を削除し、その時の失われる情報量を測定することによって、特定部位の機能を推定する方法である。この方法は、パラメータの調整に問題があったが、パラメータ調整を簡単にする方法を開発し、現在は大規模のデータの特徴抽出にも適用できる段階に達した。
さらに、ある特定の部位を用い、ネットワークをエンハンスする方法も情報エンハンスメント法として提案した。エンハンスメントによって、ネットワークは、入力パターンについて明確に反応することができる。この方法によって、情報損失法と同じように、特定部位の機能を明確にすることができえるようになった。この方法は、昨年度おこなった情報損失法法の拡張版であり、より一般的な方法となり、より多くの問題に適用できる可能性が高いことを実証した。

  • Research Products

    (11 results)

All 2009 2008

All Journal Article (7 results) (of which Peer Reviewed: 7 results) Presentation (4 results)

  • [Journal Article] Assimilation of individual activities to collective onesto produce explicit self-organizing maps2009

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the IASTED international conference on artificial intelligence and applications

      Pages: 158-162

    • Peer Reviewed
  • [Journal Article] Supervised enhanced learning to simplify internal representations of multi-layered networks2009

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the IASTED international conference on artificial intelligence and applications

      Pages: 169-174

    • Peer Reviewed
  • [Journal Article] Conditional information and information loss for flexible feature extraction2008

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the international joint conference on neural networks

      Pages: 2047-2083

    • Peer Reviewed
  • [Journal Article] Mutual information maximization by free energy-based competitive learning for self-organizing maps2008

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the international conference on systems, man, and cybernetics

      Pages: 1819-1825

    • Peer Reviewed
  • [Journal Article] Feature discovery by enhancement and relaxation of competitive units2008

    • Author(s)
      上村龍太郎
    • Journal Title

      LNCS 5326

      Pages: 148-155

    • Peer Reviewed
  • [Journal Article] Interpreting and improving multi-layered networks by free energy-based competitive learning, "2008

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the international conference on systems, man, and cybernetics

      Pages: 1812-1818

    • Peer Reviewed
  • [Journal Article] Feature detection and information loss in competitive learning2008

    • Author(s)
      上村龍太郎
    • Journal Title

      Proceedings of the international conference on soft computing and intelligent systems

      Pages: 1144-1148

    • Peer Reviewed
  • [Presentation] Collective activations to generate self-organizing maps2008

    • Author(s)
      上村龍太郎
    • Organizer
      International conference on neural information processing
    • Place of Presentation
      ニュージーランド
    • Year and Date
      2008-11-27
  • [Presentation] Enhanced visualization by combining SOM and mixture models2008

    • Author(s)
      上村龍太郎
    • Organizer
      International conference on neural information processing
    • Place of Presentation
      ニュージーランド
    • Year and Date
      2008-11-27
  • [Presentation] Partially enhanced competitive learning2008

    • Author(s)
      上村龍太郎
    • Organizer
      International conference on neural information processing
    • Place of Presentation
      ニュージーランド
    • Year and Date
      2008-11-25
  • [Presentation] Feature detection by structural enhanced information2008

    • Author(s)
      上村龍太郎
    • Organizer
      International conference on neural information processing
    • Place of Presentation
      ニュージーランド
    • Year and Date
      2008-11-25

URL: 

Published: 2010-06-11   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi