1999 Fiscal Year Annual Research Report

記憶学習の汎化能力に関する研究

Research Project

Project/Area Number	11480072
Research Category	Grant-in-Aid for Scientific Research (B)
Research Institution	Tokyo Institute of Technology
Principal Investigator	小川英光東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
Co-Investigator(Kenkyū-buntansha)	平林晃東京工業大学, 大学院・情報理工学研究科, 助手 (50272688) 熊沢逸夫東京工業大学, 大学院・情報理工学研究科, 助教授 (70186469)
Keywords	教師付き学習 / ニューラルネットワーク / 汎化能力 / 誤差逆伝搬法 / 過学習 / 記憶学習 / 射影学習 / 適用範囲
Research Abstract	教師付き学習とは,訓練データからその背後にある法則を推定する問題である.よく用いられる学習方式は誤差逆伝搬法であり,訓練データに対する誤差だけを小さくしようとするものである.一般に記憶学習とよばれているこのような学習方式が頻繁に用いられる理由は,第一に記憶学習が多くの前提知識を必要としないからであり,第二に工学的に実現しやすいからであると考えられる. ところで,教師付き学習の目的は,学習したい法則にできるだけ近い法則,すなわちできるだけ汎化能力の高い法則を推定することである.しかし,記憶学習は訓練データに対する誤差だけを小さくしようしているので,必ずしも学習結果の汎化能力が高いとは限らない.にも関わらず,記憶学習によって高い汎化能力が得られることがあることも経験的に知られている. こうして,次の問題が生じる.第一は,直接的には汎化能力を要請していない記憶学習によって高い汎化能力を得ることができる理由を解明することである.第二は,記憶学習が有効に働く適用限界を見極めることであり,第三は,適用限界を更に拡大する方法を開発することである.当研究代表者は,「許容性」の概念を導入することによって,既に第一の問題に対して明確な答を与えている. そこで本年度は,第二の問題,すなわち記憶学習をどこまで広い範囲の学習方式の実現手段として適用していくことができるかどうかという"記憶学習の適用範囲"の問題を解明した.このような問題を論じるためには,適用可能な学習方式を探す探索範囲を決めなくてはいけないが,本研究では無限に多くの種類の学習方式を含んでいる「射影学習族」を採用した.その結果,射影学習族における適用範囲が,訓練データの選び方,及び,学習の雑音抑制能力によって決まることがわかった.

Research Products
(25 results)

All Other

All Publications (25 results)

[Publications] A.Hirabayashi: "Admissibility of memorization learning with respect to projection learning in the presence of noise"IEICE Transactions on Information and Systems. E82-D. 488-496 (1999)
[Publications] 平林晃: "射影学習族"電子情報通信学会論文誌(D-II). J83-D-II. 754-767 (2000)
[Publications] 平林晃: "記憶学習の射影学習族に対する適用可能性"電子情報通信学会論文誌(D-II). J83-D-II. 768-775 (2000)
[Publications] 岩城秀和: "単一断線故障を修復可能な最適汎化ニューラルネットワーク"電子情報通信学会論文誌(D-II). J83-D-II. 805-813 (2000)
[Publications] M.Sugiyama: "Exact incremental projection learning in the presence of noise"Proc.of the 11th Scandinavian Conference on Image Analysis. 747-754 (1999)
[Publications] A.Hirabayashi: "A class of learning for optimal generalization"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.246 (CD-ROM). (1999)
[Publications] A.Hirabayashi: "What can memorization learning do?"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.247(CD-ROM). (1999)
[Publications] M.Sugiyama: "Pseudo orthogonal bases give the optimal generalization capability in neural network learning"Proc.of the 7th Conference on Wavelet Applications in Signal and Image Processing. 3813. 526-537 (1999)
[Publications] M.Sugiyama: "Functional analytic approach to model selection-subspace information criterion"Proc.of IBIS'99,1999 Workshop on information-Based Induction Sciences. 93-98 (1999)
[Publications] A.Hirabayashi: "Realization of admissibility of memorization learning with respect to projection learning"Proc.of LWA'99,Lernen,Wissensentdeckung und Adaptivitat. 別冊. 20-31 (1999)
[Publications] A.Nakashima: "How to design a regularization term for improving generalization"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 222-227 (1999)
[Publications] A.Hirabayashi: "What can memorization learning do from noisy training examples?"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 228-233 (1999)
[Publications] A.Hirabayashi: "Projection learning of the minimum variance type"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 3. 1172-1177 (1999)
[Publications] 杉山将: "Exact incremental projection learning in neural networks"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC98-97. 149-156 (1999)
[Publications] 西英治: "最適汎化のための射影学習族の追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-55. 7-14 (1999)
[Publications] 杉山将: "Incremental active learning in consideration of bias"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-56. 15-22 (1999)
[Publications] 杉山将: "Bias estimation and model selection"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-81. 9-16 (2000)
[Publications] 須賀啓敏: "適応型射影追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-82. 17-24 (2000)
[Publications] 中島朗子: "最良線形不偏推定の拡張としての射影学習"電子情報通信学会1999年総合大会講演論文集. 6. 31-31 (1999)
[Publications] 平林晃: "射影学習族と最小分散型射影学習"電気情報通信学会1999年総合大会講演論文集. 6. 32-32 (1999)
[Publications] 杉山将: "三角多項式ニューラルネットワークの能動学習"電子情報通信学会1999年総合大会講演論文集. 6. 33-33 (1999)
[Publications] 岩城秀和: "単一断線故障が生じたニューラルネットワークの最適汎化能力の復元"電気情報通信学会1999年総合大会講演論文集. 6. 34-34 (1999)
[Publications] 中島朗子: "最適正則化学習"日本神経回路学会第9回全国大会講演論文集. 157-158 (1999)
[Publications] 杉山将: "部分空間モデルの選択"日本神経回路学会第9回全国大会講演論文集. 175-176 (1999)
[Publications] S.A.Solla(Eds): "Advances in Neural Information Processing System12"MIT Press. 1070 (2000)

1999 Fiscal Year Annual Research Report

記憶学習の汎化能力に関する研究

Principal Investigator

小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)

Research Products

[Publications] A.Hirabayashi: "Admissibility of memorization learning with respect to projection learning in the presence of noise"IEICE Transactions on Information and Systems. E82-D. 488-496 (1999)

[Publications] 平林晃: "射影学習族"電子情報通信学会論文誌(D-II). J83-D-II. 754-767 (2000)

[Publications] 平林晃: "記憶学習の射影学習族に対する適用可能性"電子情報通信学会論文誌(D-II). J83-D-II. 768-775 (2000)

[Publications] 岩城秀和: "単一断線故障を修復可能な最適汎化ニューラルネットワーク"電子情報通信学会論文誌(D-II). J83-D-II. 805-813 (2000)

[Publications] M.Sugiyama: "Exact incremental projection learning in the presence of noise"Proc.of the 11th Scandinavian Conference on Image Analysis. 747-754 (1999)

[Publications] A.Hirabayashi: "A class of learning for optimal generalization"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.246 (CD-ROM). (1999)

[Publications] A.Hirabayashi: "What can memorization learning do?"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.247(CD-ROM). (1999)

[Publications] M.Sugiyama: "Pseudo orthogonal bases give the optimal generalization capability in neural network learning"Proc.of the 7th Conference on Wavelet Applications in Signal and Image Processing. 3813. 526-537 (1999)

[Publications] M.Sugiyama: "Functional analytic approach to model selection-subspace information criterion"Proc.of IBIS'99,1999 Workshop on information-Based Induction Sciences. 93-98 (1999)

[Publications] A.Hirabayashi: "Realization of admissibility of memorization learning with respect to projection learning"Proc.of LWA'99,Lernen,Wissensentdeckung und Adaptivitat. 別冊. 20-31 (1999)

[Publications] A.Nakashima: "How to design a regularization term for improving generalization"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 222-227 (1999)

[Publications] A.Hirabayashi: "What can memorization learning do from noisy training examples?"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 228-233 (1999)

[Publications] A.Hirabayashi: "Projection learning of the minimum variance type"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 3. 1172-1177 (1999)

[Publications] 杉山将: "Exact incremental projection learning in neural networks"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC98-97. 149-156 (1999)

[Publications] 西英治: "最適汎化のための射影学習族の追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-55. 7-14 (1999)

[Publications] 杉山将: "Incremental active learning in consideration of bias"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-56. 15-22 (1999)

[Publications] 杉山将: "Bias estimation and model selection"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-81. 9-16 (2000)

[Publications] 須賀啓敏: "適応型射影追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-82. 17-24 (2000)

[Publications] 中島朗子: "最良線形不偏推定の拡張としての射影学習"電子情報通信学会1999年総合大会講演論文集. 6. 31-31 (1999)

[Publications] 平林晃: "射影学習族と最小分散型射影学習"電気情報通信学会1999年総合大会講演論文集. 6. 32-32 (1999)

[Publications] 杉山将: "三角多項式ニューラルネットワークの能動学習"電子情報通信学会1999年総合大会講演論文集. 6. 33-33 (1999)

[Publications] 岩城秀和: "単一断線故障が生じたニューラルネットワークの最適汎化能力の復元"電気情報通信学会1999年総合大会講演論文集. 6. 34-34 (1999)

[Publications] 中島朗子: "最適正則化学習"日本神経回路学会第9回全国大会講演論文集. 157-158 (1999)

[Publications] 杉山将: "部分空間モデルの選択"日本神経回路学会第9回全国大会講演論文集. 175-176 (1999)

[Publications] S.A.Solla(Eds): "Advances in Neural Information Processing System12"MIT Press. 1070 (2000)

小川英光東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)