情報制御による競合学習の実現とその言語習得過程への応用

2003 Fiscal Year Annual Research Report

• Project/Area Number: 13680463
• Research Institution: TOKAI UNIVERSITY
• Principal Investigator: 上村 龍太郎 東海大学, 総合情報センター, 教授 (80176643)
• Co-Investigator(Kenkyū-buntansha): 内田 理 東海大学, 電子情報学部, 講師 (50329306) ; 上村 妙子 専修大学, 文学部, 教授 (30205926) ; 中西 祥八郎 東海大学, 電子情報学部, 教授 (30056254)
• Keywords: ニューラルネットワーク / 情報量 / 情報量最大化 / 教師付き学習 / 教師なし学習 / 特徴抽出 / 特徴発見 / 汎化能力

Research Abstract

ニューラルネットワークの学習を情報理論の立場から記述する研究をおこなった。研究では、学習は情報量最大化原理によって記述できると考えている。特に競合学習の過程を情報量最大化を用いて記述する研究を行なった。次の5つの新しい方法を提案した。
(1)貧欲な情報獲得法(Greedy network-growing algorithm)
外部の情報を最大化しながら成長しつづけるネットワークのモデルを提案し、言語習得、アンケート調査等に応用した。
(2)協調情報最大化法(Cooperative information control)
情報量を最大化する方法と協調する方法を組み合わせ自己組織化マップを生成する方法を提案した。
(3)多層ネットワークにおける情報量最大化(Extension to multi-layered networks)
情報量最大化を多層ネットワークへ応用した。このネットワークでは、どの層においても情報最大化が行なわれると仮定した。
(4)教師指導学習法(Teacher-directed learning)
誤差伝播を用いない新しい教師付き学習を提案した。この方法では、訓練パターンと教師パターンについての情報量が最大化される。
(5)情報最大化と最小化の融合(Unification of information maximization and minimization)
情報量を最大化するのと同様に最小化も行なえる方法を提案した。
これらの新しい方法を用いて、人間の思考、言語等を解明する研究を行なった。

Research Products

• [Publications] 上村龍太郎: "Conditional information control to maximize and minimize information"International journal of smart engineering system design. 5. 187-202 (2003)
• [Publications] 上村龍太郎, 上村妙子, 内田理: "Progressive Feature Extraction by Greedy Network-Growing Algorithm"Complex systems. 14. 127-153 (2003)
• [Publications] 上村龍太郎: "Teacher-directed learning : information-theoretic competitive learning in supervised multi-layered networks"Connection science. 15. 117-140 (2003)
• [Publications] 上村龍太郎: "Information-theoretic competitive learning with inverse Euclidean distance output units"Neural Processing Letters. 18. 163-184 (2003)
• [Publications] 上村龍太郎: "Competitive learning by information maximization : eliminating dead neurons in competitive learning"Artificial Neural Networks and Neural Information Processing-ICANN/ICONIP2003. 99-106 (2003)
• [Publications] 上村龍太郎: "A hybrid system to unify information control and error minimization"Proceeding of ICONIP/ICANN2003. 29-32 (2003)