情報制御による競合学習の実現とその言語習得過程への応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13680463
• Research Institution: Tokai University
• Principal Investigator: 上村 龍太郎 東海大学, 総合情報センター, 教授 (80176643)
• Co-Investigator(Kenkyū-buntansha): 内田 理 東海大学, 電子情報学部, 講師 (50329306) ; 上村 妙子 専修大学, 文学部, 教授 (30205926) ; 中西 祥八郎 東海大学, 電子情報学部, 教授 (30056254)
• Keywords: ニューラルネットワーク / 情報量 / 情報量最大化 / 教師付き学習 / 教師なし学習 / 特徴抽出 / 特徴発見 / 汎化能力

Research Abstract

ニューラルネットワークの学習を情報理論の立場から記述する研究をおこなった。研究では、学習は情報量最大化原理によって記述できると考えている。特に競合学習の過程を情報量最大化を用いて記述する研究を行なった。次の5つの新しい方法を提案した。
(1)貪欲な情報獲得法(Greedy network-growing algorithm)
外部の情報を最大化しながら成長しつづけるネットワークのモデルを提案し、言語習得、アンケート調査等に応用した。
(2)脇調情報最大化法(Cooperative information control)
情報量を最大化する方法と協調する方法を組み合わせ自己組織化マップを生成する方法を提案した。
(3)多層ネットワークにおける情報量最大化(Extension to multi-layered networks)
情報量最大化を多層ネットワークへ応用した。このネットワークでは、どの層においても情報最大化が行なわれると仮定した。
(4)教師指導学習法(Teacher-directed learning)
誤差伝播を用いない新しい教師付き学習を提案した。この方法では、訓練パターンと教師パターンについての情報量が最大化される。
(5)情報最大化と最小化の融合(Unification of information maximization and minimization)
情報量を最大化するのと同様に最小化も行なえる方法を提案した。
これらの新しい方法を用いて、人間の思考、言語等を解明する研究を行なった。

Research Products

• [Publications] 上村龍太郎, 上村妙子, 竹内晴彦: "Greedy Information Acquisition Algorithm : A New Information Theoretic Approach to Dynamic Information Acquisition on Neural Networks"Connection science. 14. 137-162 (2002)
• [Publications] 上村龍太郎, 上村妙子, 内田理: "Flexible feature detection and structural information"Connection science. 13. 323-347 (2002)
• [Publications] 上村龍太郎: "Controlling internal representation by structural information, "Neurocomputing"Neurocomputing. 48. 705-725 (2002)
• [Publications] 上村龍太郎, 上村妙子: "Hybrid Information Processing Systems to Generate Self-Organizing Maps : Combining SOM and information Maximization for Coherent activation Patterns"Proceeding of world congress on computational intelligence. 1785-1790 (2002)
• [Publications] 上村龍太郎, 竹内晴彦, 内田理: "Progressive feature extraction by extended greedy information acquisition"Proceedings of international conference on neural information processing. 167-173 (2002)
• [Publications] 上村龍太郎: "Information theoretic competitive learning in multi-layered networks, "International Conference on Neural Information Processing"Proceedings of international conference on neural information processing. 311-316 (2002)
• [Publications] 上村龍太郎: "Information theoretic neural computation"World scientific. 250 (2002)