2003 Fiscal Year Annual Research Report

学習族の理論―1種類の学習から無限種類の学習へ―

Research Project

Project/Area Number	14380158
Research Institution	Tokyo Institute of Technology
Principal Investigator	小川英光東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
Co-Investigator(Kenkyū-buntansha)	熊沢逸夫東京工業大学, 大学院・理工学研究科, 教授 (70186469)
Keywords	教師付き学習 / 誤差逆伝搬法 / 射影学習 / 個別学習理論 / 学習族の理論 / SL射影学習 / 追加学習 / 能動学習
Research Abstract	教師付き学習の研究は,従来,誤差逆伝搬法や射影学習など個々の学習に関するものが中心であった.しかし,このような個別の学習理論だけでは,学習の問題を深く理解することはできない.たとえば,誤差逆伝搬法は丸暗記能力だけを要請するにも関わらず,高い汎化能力を獲得できることがある.このような現象を理解していくためには,個別学習理論から,無限に多くの種類の学習を同時に扱う学習族の理論へと進む必要がある. 当研究代表者は,SL射影学習という概念を導入することにより,無限種類の学習を含む学習族の理論を世界に先駆けて構築してきた.この理論により,標本点が固定されている場合には,記憶学習が時によって高い汎化能力を獲得できる理由等,多くの事柄を理論的に解明してきた.しかし,追加学習や能動学習のように,標本点が変化していく場合には,このSL射影学習の概念は必ずしも使いやすいものではなかった. ところで,当研究代表者のグループでSL射影学習という概念を導入する際に,実は3種類の方法を考えてきた.そして,標本点が固定されている場合に自然なものとして,現在使われているSL射影学習の定義を採用したのである.しかし,標本点が変化していく場合まで考えた時には,今までの3種類の定義の中で,T作用素と呼ばれる作用素を介する定義の方が有効であるという感触を得ており,現在,この定義を用いて学習族の理論を再構築している段階である.また,より洗練された能動学習の理論を展開し,学習族の理論構築の助けとしている. なお,当研究代表者が提案した部分射影学習が,半導体などの表面形状の精密測定に役立つことを見いだし,世界最高速の測定装置を開発し,産業界で注目を集めているところである.

Research Products

(6 results)

All Other

All Publications (6 results)

[Publications] M.Jankovic, H.Ogawa: "A New Modulated Hebbian learning rule - Biologically plausible method for local computation of a principal subspace"Int.J. of Neural Systems (IJNS). 13・4. 1-9 (2003)
[Publications] M.Sugiyama, H.Ogawa: "Active learning with model selection - Simultaneous optimization of sample points and models for trigonometric polynominal models"IEICE Trans. Information and Systems. E86-D・12. 826-836 (2003)
[Publications] A.Hirabayashi, Y.Nakayama, H.Ogawa, K.Kitagawa: "Algorithm with optimum noise suppression for surface profiling by white-light interferometry"Proc.SPIE, Optical Manufacturing and Testing V. 5180. 365-376 (2003)
[Publications] Ganka P.Kavacheva, H.Ogawa: "Radial basis function classifier for fault diagnostics"ISICT 2003, Int.Symp. on Information and Communication Technologies, Doublin, Ireland. 64-69 (2003)
[Publications] Ganka P.Kovacheva, H.Ogawa: "Incremental learning method for RBF classifiers"WISICT 2004, Winter Int.Symp. on Information and Communication Technologies, Cancun, Mexico. 255-260 (2004)
[Publications] H.Ogawa, M.Sugiyama: "Active learning for maximal generalization capability"数理解析研究所講究録(再生核の理論の応用). 1352. 114-126 (2004)

2003 Fiscal Year Annual Research Report

学習族の理論―1種類の学習から無限種類の学習へ―

Principal Investigator

小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)

Research Products

[Publications] M.Jankovic, H.Ogawa: "A New Modulated Hebbian learning rule - Biologically plausible method for local computation of a principal subspace"Int.J. of Neural Systems (IJNS). 13・4. 1-9 (2003)

[Publications] M.Sugiyama, H.Ogawa: "Active learning with model selection - Simultaneous optimization of sample points and models for trigonometric polynominal models"IEICE Trans. Information and Systems. E86-D・12. 826-836 (2003)

[Publications] A.Hirabayashi, Y.Nakayama, H.Ogawa, K.Kitagawa: "Algorithm with optimum noise suppression for surface profiling by white-light interferometry"Proc.SPIE, Optical Manufacturing and Testing V. 5180. 365-376 (2003)

[Publications] Ganka P.Kavacheva, H.Ogawa: "Radial basis function classifier for fault diagnostics"ISICT 2003, Int.Symp. on Information and Communication Technologies, Doublin, Ireland. 64-69 (2003)

[Publications] Ganka P.Kovacheva, H.Ogawa: "Incremental learning method for RBF classifiers"WISICT 2004, Winter Int.Symp. on Information and Communication Technologies, Cancun, Mexico. 255-260 (2004)

[Publications] H.Ogawa, M.Sugiyama: "Active learning for maximal generalization capability"数理解析研究所講究録(再生核の理論の応用). 1352. 114-126 (2004)

小川英光東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)