• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

記憶学習の汎化能力に関する研究

研究課題

研究課題/領域番号 11480072
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 知能情報学
研究機関東京工業大学

研究代表者

小川 英光  東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)

研究分担者 杉山 将  東京工業大学, 大学院・情報理工学研究科, 助手 (90334515)
平林 晃  山口大学, 工学部, 講師 (50272688)
熊沢 逸夫  東京工業大学, 大学院・情報理工学研究科, 助教授 (70186469)
研究期間 (年度) 1999 – 2001
研究課題ステータス 完了 (2001年度)
配分額 *注記
13,800千円 (直接経費: 13,800千円)
2001年度: 3,100千円 (直接経費: 3,100千円)
2000年度: 4,900千円 (直接経費: 4,900千円)
1999年度: 5,800千円 (直接経費: 5,800千円)
キーワード教師付き学習 / 汎化能力 / 誤差逆伝搬法 / 記憶学習 / 許容性 / 射影学習族 / 部分空間情報量基準 / SIC / 適用範囲 / ニューラルネットワーク / 過学習 / 射影学習
研究概要

訓練データを用いた教師付き学習の目的は,訓練データ以外の入力に対しても正しく答えられるようにすること,すなわち,高い汎化能力を得ることである.しかし,誤差逆伝搬法に代表される多くの学習法は,訓練データに対する誤差だけを小さくしようとする記憶学習であり,高い汎化能力が得られるという直接的な理論的保証はない.
こうして,次の問題が生じる.第一は直接的には汎化能力を要請していない記憶学習によって高い汎化能力を得ることができる場合がある理由を解明することであり,第二は記憶学習が有効に働く適用範囲を見極めること,第三は適用範囲を更に拡大する方法を開発することである.
第一の問題に対しては,「許容性」の概念を導入することにより明確な解答を与えた.第二の問題に対しては,まず「射影学習族」という概念を導入することにより,無限に多くの種類の学習方式を同時に論じることができる理論的基盤を確立した.そして,許容性と射影学習族の概念を活用することにより,狭義の記憶学習の射影学習族における適用範囲を明らかにした.第三の問題に対しては,多くの解決法があることを示した.まず記憶学習の概念を機械的記憶学習から誤り修正型記憶学習へ拡張し,適用範囲を更に拡大できることを示した.また能動学習の立場から,汎化能力を最も高める最適な訓練データの設計法を与えた.更にモデル選択の立場から,部分空間情報量基準(Subspace Information Criterion : SIC)を提案した.これは,有限個の訓練データに対しても有効性が理論的に保証されたモデル選択基準になっている.このSICを用いることにより,例えば正則化学習の最適パラメータの決定法を与えた.

報告書

(4件)
  • 2001 実績報告書   研究成果報告書概要
  • 2000 実績報告書
  • 1999 実績報告書
  • 研究成果

    (64件)

すべて その他

すべて 文献書誌 (64件)

  • [文献書誌] MasashiSugiyama, Hidemitsu Ogawa: "Active learning for optimal generalization in trigonometric polynomial models"IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences. E84-A. 2319-2329 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Akiko Nakashima, Akira Hirabayashi, Hidemitsu Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. 14. 79-92 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. 14. 53-66 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Subspace information criterion for model selection"Neural Computation. 13. 1863-1889 (2001)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental active learning for optimal generalization"Neural Computation. 12. 2909-2940 (2000)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 平林晃, 小川英光: "射影学習族"電子情報通信学会論文誌(D-II). 12. 754-767 (2000)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] 小川英光: "脳科学大事典(甘利俊一, 外山敬介編)"朝倉書店. 1006 (2000)

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama and Hidemitsu Ogawa: "Active learning for optimal generalization in trigonometric polynomial models"IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences. vol.E84-A, no.9. 2319-2329 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Akiko Nakashima, Akira Hirabayashi, and Hidemitsu Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. vol.14, no.1. 79-92 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama and Hidemitsu Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. vol.14, no.1. 53-66 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama and Hidemitsu Ogawa: "Subspace information criterion for model selection"Neural Computation. vol.13, no.8. 1863-1889 (2001)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama and Hidemitsu Ogawa: "Incremental active learning for optimal generalization"Neural Computation. vol.12, no.12. 2909-2940 (2000)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Akira Hirabayashi and Hidemitsu Ogawa: "A family of projection learnings"IEICE Transactions D-II. vol.J83-D-II, no.2. 754-767 (2000)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Hidemitsu Ogawa: "Encyclopedia of Brain Science (Shin-ichi Amari and Toyama Keisuke, Eds.)"Asakura syoten, Tokyo, Japan. (2000)

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2001 研究成果報告書概要
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Active learning for optimal generalization in trigonometric polynomial models"IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences. E84-A・9. 2319-2329 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Akiko Nakashima, Akira Hirabayashi, Hidemitsu Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. 14・1. 79-92 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. 14・1. 53-66 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Subspace information criterion for model selection"Neural Computation. 13・8. 1863-1889 (2001)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental active learning for optimal generalization"Neural Computation. 12・12. 2909-2940 (2000)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 平林晃, 小川英光: "射影学習族"電子情報通信学会論文誌(D-II). J83-D-II・2. 754-767 (2000)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] 小川英光: "脳科学大事典(甘利俊一, 外山敬介編)"朝倉書店. 1006 (2000)

    • 関連する報告書
      2001 実績報告書
  • [文献書誌] H.Ogawa and N.-E.Berrached: "EPBOBs (extended pseudo biorthogonal bases) for signal recovery"IEICE Trans.on Information and Systems. E83-D,no.2. 223-232 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] A.Hirabayasi,H.Ogawa,and A.Nakashima: "Realization of admissibility for supervised learning"IEICE Trans.on Information and Systems. E83-D,no.5. 1170-1176 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Incremental active learning for optimal generalization"Neural Computation. 12,no.12. 2909-2940 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. 14,no.1. 54-66 (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Properties of incremental projection learning"Neural Networks. 14,no.1. 67-78 (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] A.Nakashima,A.Hirabayasi,and H.Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. 14,no.1. (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Subspace information criterion for model selection"Neural Computation. 13. (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Theoretical and experimental evaluation of subspace information criterion"Machine Learning, Special Issuue on New Methods for Model Selection and Model Combination. 41. (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] A.Nakashima and H.Ogawa: "Noise supression in training examples for improving generalization capability"Neural Networks. 14,. (2001)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "A new information criterion for the selection of subspace moels"ESANN'2000,8th European Symposium on Artificial Neural Networks,April 26-28,2000,Bruges, Belgium. 69-74 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Incremental active learning with bias reduction"IJCNN'2000,IEEE-INNS-ENNS Int.Joint Conf.on Neural Networks,July 24-27,2000,Como,Italy,. 1. 15-20 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Subspace information criterion-Unbiased generalization error estimator for linear regression"NIPS'2000 Workshop,Cross-Validation, Bootstrap and Model Selection, December 1-2,2000,Breckenridge, Colorado. (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Simultaneous optimization of sample points and models"電子情報通信学会ニューロコンピューティング研究会. NC2000-26. 17-24 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] M.Sugiyama and H.Ogawa: "Active learning with model selection for optimal generalization"IBIS'2000,2000 Workshop on Information-Based Induction Sciences, July 17-18,2000. 87-92 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 杉山将,小川英光: "最適汎化のための逐次型能動学習"2000年電子情報通信学会総合大会. 6,no.D-2-2. 11 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 山口浩平,杉山将,小川英光: "射影学習による手書き数字認識"2000年電子情報通信学会総合大会. 7,no.D-12-10. 180 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 杉山将,小川英光: "関数の注目点における値の最適推定のためのモデル選択"第3回日本神経科学大会・第10回日本神経回路学会大会合同大会. no.O-123. 197 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] 甘利俊一,外山敬介 編: "脳科学大事典"朝倉書店. 1006 (2000)

    • 関連する報告書
      2000 実績報告書
  • [文献書誌] A.Hirabayashi: "Admissibility of memorization learning with respect to projection learning in the presence of noise"IEICE Transactions on Information and Systems. E82-D. 488-496 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 平林晃: "射影学習族"電子情報通信学会論文誌(D-II). J83-D-II. 754-767 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 平林晃: "記憶学習の射影学習族に対する適用可能性"電子情報通信学会論文誌(D-II). J83-D-II. 768-775 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 岩城秀和: "単一断線故障を修復可能な最適汎化ニューラルネットワーク"電子情報通信学会論文誌(D-II). J83-D-II. 805-813 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] M.Sugiyama: "Exact incremental projection learning in the presence of noise"Proc.of the 11th Scandinavian Conference on Image Analysis. 747-754 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Hirabayashi: "A class of learning for optimal generalization"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.246 (CD-ROM). (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Hirabayashi: "What can memorization learning do?"Proc.of IJCNN'99,1999 International Joint Conference on Neural Networks. no.247(CD-ROM). (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] M.Sugiyama: "Pseudo orthogonal bases give the optimal generalization capability in neural network learning"Proc.of the 7th Conference on Wavelet Applications in Signal and Image Processing. 3813. 526-537 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] M.Sugiyama: "Functional analytic approach to model selection-subspace information criterion"Proc.of IBIS'99,1999 Workshop on information-Based Induction Sciences. 93-98 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Hirabayashi: "Realization of admissibility of memorization learning with respect to projection learning"Proc.of LWA'99,Lernen,Wissensentdeckung und Adaptivitat. 別冊. 20-31 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Nakashima: "How to design a regularization term for improving generalization"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 222-227 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Hirabayashi: "What can memorization learning do from noisy training examples?"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 1. 228-233 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] A.Hirabayashi: "Projection learning of the minimum variance type"Proc.of ICONIP'99,6th International Conference on Neural Information Processing. 3. 1172-1177 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 杉山将: "Exact incremental projection learning in neural networks"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC98-97. 149-156 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 西英治: "最適汎化のための射影学習族の追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-55. 7-14 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 杉山将: "Incremental active learning in consideration of bias"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-56. 15-22 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 杉山将: "Bias estimation and model selection"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-81. 9-16 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 須賀啓敏: "適応型射影追加学習"電子情報通信学会ニューロコンピューティング研究会技術研究報告. NC99-82. 17-24 (2000)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 中島朗子: "最良線形不偏推定の拡張としての射影学習"電子情報通信学会1999年総合大会講演論文集. 6. 31-31 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 平林晃: "射影学習族と最小分散型射影学習"電気情報通信学会1999年総合大会講演論文集. 6. 32-32 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 杉山将: "三角多項式ニューラルネットワークの能動学習"電子情報通信学会1999年総合大会講演論文集. 6. 33-33 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 岩城秀和: "単一断線故障が生じたニューラルネットワークの最適汎化能力の復元"電気情報通信学会1999年総合大会講演論文集. 6. 34-34 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 中島朗子: "最適正則化学習"日本神経回路学会第9回全国大会講演論文集. 157-158 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] 杉山将: "部分空間モデルの選択"日本神経回路学会第9回全国大会講演論文集. 175-176 (1999)

    • 関連する報告書
      1999 実績報告書
  • [文献書誌] S.A.Solla(Eds): "Advances in Neural Information Processing System12"MIT Press. 1070 (2000)

    • 関連する報告書
      1999 実績報告書

URL: 

公開日: 1999-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi