移動する教師に対するオンライン学習の解析

2003 年度 実績報告書

• 研究課題/領域番号: 15500151
• 研究機関: 神戸市立工業高等専門学校
• 研究代表者: 三好 誠司 神戸市立工業高等専門学校, 電子工学科, 助教授 (10270307)
• キーワード: 統計的学習理論 / オンライン学習 / アンサンブル学習 / 汎化誤差 / ヘブ学習 / パーセプトロン学習 / アダトロン学習 / 非線形パーセプトロン

研究概要

精度の低いルールや学習機械(生徒)を多数組み合わせることにより精度の高い予測や分類を行おうとすることは一般にアンサンブル学習(集団学習)と呼ばれている.教師が変化(移動)するような場合におけるオンライン学習の特性解析の準備として,教師が不変(固定)な場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで理論的に解析した.統計的学習理論の目的のひとつは汎化誤差を理論的に求めることである.そこで本年度は,まず,K個の生徒が多数決で統合出力を決定する場合やK個の生徒の平均値を用いて統合出力を決定する場合の汎化誤差が教師と生徒の類似度と生徒間の類似度という二つの巨視的変数で計算できることを明らかにした.次に,一般の学習則について,これらの巨視的変数のダイナミクスを記述する微分方程式を導出した.さらに,よく知られているヘブ学習,パーセプトロン学習,アダトロン学習の三つの学習則について,入力ベクトルの次元N→∞(熱力学的極限)を仮定することにより,そのときに成り立つ自己平均性に基づいて,この微分方程式を具体的に導出し,それらを解いた結果を用いて汎化誤差を数値的に求めた.その結果,これら三つの学習則は「生徒の多様性維持」というアンサンブル学習との相性においてそれぞれ異なった性質を有しており,汎化誤差への漸近特性の点で最も優れていることが知られているアダトロン学習が,アンサンブル学習との相性という点でも最も優れているという興味深い事実が明らかになった.

研究成果

• [文献書誌] 三好誠司, 原一之, 岡田真人: "オンライン学習理論に基づく単純パーセプトロンのアンサンブル学習の解析"電子情報通信学会論文誌DII. (印刷中). (2004)
• [文献書誌] Miyoshi, S., Okada.M: "Storage capacity diverges with synaptic efficiency in an associative memory model with synaptic delay and pruning"IEEE Transactions on Neural Networks. (印刷中). (2004)
• [文献書誌] Miyoshi, S., Yanai.H.F., Okada, M.: "Associative memory by recurrent neural networks with delay elements"Neural Networks. 17・1. 55-63 (2004)
• [文献書誌] Miyoshi, S., Okada, M: "Associative memory by neural networks with delays and pruning"Electronics and Communication in Japan Part 3:Fundamental Electronic Science. 86・6. 48-59 (2003)
• [文献書誌] Miyoshi, S., Hara, K., Okada, M: "Analysis of ensemble learning using simple perceptrons based on online learning theory"Proc.on Int.Joint Conf.on Neural Networks. (採録決定). (2004)