• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

学習族の理論-1種類の学習から無限種類の学習へ-

研究課題

研究課題/領域番号 14380158
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 知能情報学
研究機関東京工業大学

研究代表者

小川 英光  東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)

研究分担者 熊沢 逸夫  東京工業大学, 大学院・理工学研究科, 教授 (70186469)
杉山 将  東京工業大学, 大学院・情報理工学研究科, 助教授 (90334515)
研究期間 (年度) 2002 – 2004
研究課題ステータス 完了 (2004年度)
配分額 *注記
11,700千円 (直接経費: 11,700千円)
2004年度: 2,600千円 (直接経費: 2,600千円)
2003年度: 4,200千円 (直接経費: 4,200千円)
2002年度: 4,900千円 (直接経費: 4,900千円)
キーワード教師付き学習 / 汎化能力 / 射影学習 / 部分射影学習 / 射影学習族 / SL射影学習 / 能動学習 / 部分空間情報量基準 / 誤差逆伝搬法 / 個別学習理論 / 学習族の理論 / 追加学習
研究概要

教師付き学習の研究は、従来、誤差逆伝搬法や射影学習など個々の学習に関するものが中心であった。しかし、このような個別の学習理論だけでは、学習の問題を深く理解することはできない。たとえば、誤差逆伝搬法は丸暗記能力だけを要請するにも関わらず、高い汎化能力を獲得できることがある。このような現象を理解していくためには、個別学習理論から、無限に多くの種類の学習を同時に扱う学習族の理論へと進む必要がある。当研究代表者は、訓練データの中の標本点が固定されている場合に、SL射影学習という概念を導入することにより、無限種類の学習を含む学習族の理論を世界に先駆けて構築してきた。そして、記憶学習が時によって高い汎化能力を獲得できる理由等、多くの問題を理論的に解明してきた。しかし、追加学習や能動学習のように、標本点が変化していく場合には、このSL射影学習の概念は必ずしも使いやすいものではなかった。
この理論を、標本点が変化していく場合に対応できるようにするために、本年度は次の研究を行った。まず、異なる標本点に対して「同じ学習である」という概念を明確に定義した。ところで、当研究代表者のグループでSL射影学習の概念を導入する際に、実は3種類の方法を考えてきた。そして、標本点が固定されている場合に自然なものとして、現在使われているSL射影学習の定義を採用したのである。そこで、この「同じ学習」という立場から3種類の定義を見直した結果、標本点が変化していく場合には、SL射影学習の定義よりも、T作用素と呼ばれる作用素を介する定義の方が有効であることを明らかにした。また、T作用素全体がつくる空間の構造も解明していった。また,既に学習が進んでいる段階で、今までの学習結果を活かしながら、次の最適な標本点を決めていく追加能動学習の問題を解明していった。

報告書

(4件)
  • 2004 実績報告書   研究成果報告書概要
  • 2003 実績報告書
  • 2002 実績報告書
  • 研究成果

    (26件)

すべて 2004 その他

すべて 雑誌論文 (14件) 文献書誌 (12件)

  • [雑誌論文] Perturbation analysis of a generalization error estimator2004

    • 著者名/発表者名
      M.Sugiyama, Y.Okabe, H.Ogawa
    • 雑誌名

      Neural Information Processing 2・2

      ページ: 33-38

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 実績報告書 2004 研究成果報告書概要
  • [雑誌論文] Pseudoframes for subspaces with applications2004

    • 著者名/発表者名
      S.Li, H.Ogawa
    • 雑誌名

      The Journal of Fourier Analysis and Applications 10・4

      ページ: 409-431

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 実績報告書 2004 研究成果報告書概要
  • [雑誌論文] Time-oriented hierarchical method for computation of principal components using subspace learning algorithm2004

    • 著者名/発表者名
      M.Jankovic, H.Ogawa
    • 雑誌名

      International Journal of Neural Systems 14・5

      ページ: 313-324

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 実績報告書 2004 研究成果報告書概要
  • [雑誌論文] Partial projection filter for signal restoration in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans.Information and Systems E87-D・12

      ページ: 2828-2836

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Characterization and implementation of partial projection filter in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans.Information and Systems E87-D・12

      ページ: 2837-2844

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Trading variance reduction with unbiasedness : The regularized subspace information criterion for robust model selection in kernel regression2004

    • 著者名/発表者名
      M.Sugiyama, M.Kawanabe, K.-R.Muller
    • 雑誌名

      Neural Computation 16・5

      ページ: 1077-1104

    • 説明
      「研究成果報告書概要(和文)」より
    • 関連する報告書
      2004 実績報告書 2004 研究成果報告書概要
  • [雑誌論文] Perturbation analysis of a generalization error estimator2004

    • 著者名/発表者名
      M.Sugiyama, Y.Okabe, H.Ogawa
    • 雑誌名

      Neural Information Processing 2(2)

      ページ: 33-38

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Pseudoframes for subspaces with applications2004

    • 著者名/発表者名
      S.Li, H.Ogawa
    • 雑誌名

      The Journal of Fourier Analysis and Applications 10(4)

      ページ: 409-431

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Time-oriented hierarchical method for computation of principal components using subspace learning algorithm2004

    • 著者名/発表者名
      M.Jankovic, H.Ogawa
    • 雑誌名

      International Journal of Neural Systems 14(5)

      ページ: 313-324

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Partial projection filter for signal restoration in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans.Information and Systems E87-D(12)

      ページ: 2828-2836

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Characterization and implementation of partial projection filter in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans.Information and Systems E87-D(12)

      ページ: 2837-2844

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Trading variance reduction with unbiasedness : The regularized subspace information criterion for robust model selection in kernel regression2004

    • 著者名/発表者名
      M.Sugiyama, M.Kawanabe, K.-R.Muller
    • 雑誌名

      Neural Computation 16(59

      ページ: 1077-1104

    • 説明
      「研究成果報告書概要(欧文)」より
    • 関連する報告書
      2004 研究成果報告書概要
  • [雑誌論文] Partial projection filter for signal restoration in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans. Information and Systems E87-D・12

      ページ: 2828-2836

    • 関連する報告書
      2004 実績報告書
  • [雑誌論文] Characterization and implementation of partial projection filter in the presence of signal space noise2004

    • 著者名/発表者名
      A.Syed, H.Ogawa
    • 雑誌名

      IEICE Trans. Information and Systems E87-D・12

      ページ: 2837-2844

    • 関連する報告書
      2004 実績報告書
  • [文献書誌] M.Jankovic, H.Ogawa: "A New Modulated Hebbian learning rule - Biologically plausible method for local computation of a principal subspace"Int.J. of Neural Systems (IJNS). 13・4. 1-9 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] M.Sugiyama, H.Ogawa: "Active learning with model selection - Simultaneous optimization of sample points and models for trigonometric polynominal models"IEICE Trans. Information and Systems. E86-D・12. 826-836 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] A.Hirabayashi, Y.Nakayama, H.Ogawa, K.Kitagawa: "Algorithm with optimum noise suppression for surface profiling by white-light interferometry"Proc.SPIE, Optical Manufacturing and Testing V. 5180. 365-376 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Ganka P.Kavacheva, H.Ogawa: "Radial basis function classifier for fault diagnostics"ISICT 2003, Int.Symp. on Information and Communication Technologies, Doublin, Ireland. 64-69 (2003)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] Ganka P.Kovacheva, H.Ogawa: "Incremental learning method for RBF classifiers"WISICT 2004, Winter Int.Symp. on Information and Communication Technologies, Cancun, Mexico. 255-260 (2004)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] H.Ogawa, M.Sugiyama: "Active learning for maximal generalization capability"数理解析研究所講究録(再生核の理論の応用). 1352. 114-126 (2004)

    • 関連する報告書
      2003 実績報告書
  • [文献書誌] 平林 晃, 小川 英光: "Functional analytic theory of supervised learning"RIMS Kokyuroku. 1253. 1-13 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Ogawa H., Hirabayashi A.: "Sampling theory in white-light interferometry"Sampling Theory in Signal and Image Processing, An International Journal. 1・2. 87-116 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Sugiyama, M., Ogawa, H.: "Incremental construction of projection generalizing neural networks"IEICE Transactions on Information and Systems. E85-D・9. 1433-1442 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Sugiyama, M., Mueller, K.-R.: "The subspace information criterion for infinite dimensional hypothesis spaces"Journal of Machine Learning Research. Vol.3(Nov). 323-359 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Sugiyama, M., Mueller, K.-R: "Selecting ridge parameters in infinite dimensional hypothesis spaces"Artificial Neural Networks. Vol.2415. 528-534 (2002)

    • 関連する報告書
      2002 実績報告書
  • [文献書誌] Sugiyama, M., Ogawa, H.: "Release from active learning/model selection dilemma : Optimizing sample points and models at the same time"In Proceedings of International Joint Conference on Neural Networks (IJCNN2002). Vol.3. 2917-2922 (2002)

    • 関連する報告書
      2002 実績報告書

URL: 

公開日: 2002-04-01   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi