記憶学習の汎化能力に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11480072
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• Co-Investigator(Kenkyū-buntansha): 平林 晃 山口大学, 工学部(知能情報システム工学科), 講師 (50272688) ; 熊沢 逸夫 東京工業大学, 大学院・情報理工学研究科, 助教授 (70186469)
• Keywords: 教師付き学習 / 汎化能力 / 誤差逆伝搬法 / 許容性 / 記憶学習 / 射影学習族 / 適用範囲 / SIC

Research Abstract

訓練データを用いた教師付き学習の目的は,訓練データ以外の入力に対しても正しく答えられるようにすること,すなわち,高い汎化能力を得ることである.しかし,誤差逆伝搬法に代表される多くの学習法は,訓練データに対する誤差だけを小さくしようとする記憶学習であり,常に高い汎化能力が得られるとは限らない.それにも関わらず記憶学習が頻繁に用いられる理由は,第一に記憶学習が多くの前提知識を必要としないからであり,第二に工学的に実現しやすいからであると考えられる.
こうして,次の問題が生じる.第一は直接的には汎化能力を要請していない記憶学習によって高い汎化能力を得ることができる場合がある理由を解明することであり,第二は記憶学習が有効に働く適用範囲を見極めること,第三は適用範囲を更に拡大する方法を開発することである.
第一の問題に対しては,「許容性」の概念を導入することにより明確な解答を与えた.第二の問題に対しては,まず「射影学習族」という概念を導入することにより,無限に多くの種類の学習方式を同時に論じることができる理論的基盤を確立した.そして,許容性と射影学習族の概念を活用することにより,狭義の記憶学習の射影学習族における適用範囲を明らかにした.今年度は,第三の問題に対して多くの解決法があることを示した.まず記憶学習の概念を機械的記憶学習から誤り修正型記憶学習へ拡張し,汎化能力を高めることができることを示した.また能動学習の立場から,汎化能力を最も高める最適な訓練データの設計法を与えた.更にモデル選択の立場から,部分空間情報量基準(Subspace Information Criterion:SIC)を提案した.これは,有限個の訓練データに対しても有効性が理論的に保証できるモデル選択基準になっている.このSICを用いることにより,例えば正則化学習の最適パラメータの決定法を与えた.

Research Products

• [Publications] H.Ogawa and N.-E.Berrached: "EPBOBs (extended pseudo biorthogonal bases) for signal recovery"IEICE Trans.on Information and Systems. E83-D,no.2. 223-232 (2000)
• [Publications] A.Hirabayasi,H.Ogawa,and A.Nakashima: "Realization of admissibility for supervised learning"IEICE Trans.on Information and Systems. E83-D,no.5. 1170-1176 (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Incremental active learning for optimal generalization"Neural Computation. 12,no.12. 2909-2940 (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. 14,no.1. 54-66 (2001)
• [Publications] M.Sugiyama and H.Ogawa: "Properties of incremental projection learning"Neural Networks. 14,no.1. 67-78 (2001)
• [Publications] A.Nakashima,A.Hirabayasi,and H.Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. 14,no.1. (2001)
• [Publications] M.Sugiyama and H.Ogawa: "Subspace information criterion for model selection"Neural Computation. 13. (2001)
• [Publications] M.Sugiyama and H.Ogawa: "Theoretical and experimental evaluation of subspace information criterion"Machine Learning, Special Issuue on New Methods for Model Selection and Model Combination. 41. (2001)
• [Publications] A.Nakashima and H.Ogawa: "Noise supression in training examples for improving generalization capability"Neural Networks. 14,. (2001)
• [Publications] M.Sugiyama and H.Ogawa: "A new information criterion for the selection of subspace moels"ESANN'2000,8th European Symposium on Artificial Neural Networks,April 26-28,2000,Bruges, Belgium. 69-74 (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Incremental active learning with bias reduction"IJCNN'2000,IEEE-INNS-ENNS Int.Joint Conf.on Neural Networks,July 24-27,2000,Como,Italy,. 1. 15-20 (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Subspace information criterion-Unbiased generalization error estimator for linear regression"NIPS'2000 Workshop,Cross-Validation, Bootstrap and Model Selection, December 1-2,2000,Breckenridge, Colorado. (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Simultaneous optimization of sample points and models"電子情報通信学会ニューロコンピューティング研究会. NC2000-26. 17-24 (2000)
• [Publications] M.Sugiyama and H.Ogawa: "Active learning with model selection for optimal generalization"IBIS'2000,2000 Workshop on Information-Based Induction Sciences, July 17-18,2000. 87-92 (2000)
• [Publications] 杉山将,小川英光: "最適汎化のための逐次型能動学習"2000年電子情報通信学会総合大会. 6,no.D-2-2. 11 (2000)
• [Publications] 山口浩平,杉山将,小川英光: "射影学習による手書き数字認識"2000年電子情報通信学会総合大会. 7,no.D-12-10. 180 (2000)
• [Publications] 杉山将,小川英光: "関数の注目点における値の最適推定のためのモデル選択"第3回日本神経科学大会・第10回日本神経回路学会大会合同大会. no.O-123. 197 (2000)
• [Publications] 甘利俊一,外山敬介 編: "脳科学大事典"朝倉書店. 1006 (2000)