学習族の理論―1種類の学習から無限種類の学習へ―

2002 年度 実績報告書

• 研究課題/領域番号: 14380158
• 研究機関: 東京工業大学
• 研究代表者: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• 研究分担者: 杉山 将 東京工業大学, 大学院・情報理工学研究科, 助教授 (90334515) ; 熊沢 逸夫 東京工業大学, 大学院・理工学研究科, 教授 (70186469)
• キーワード: 教師付き学習 / 誤差逆伝搬法 / 射影学習 / 個別学習理論 / 学習族の理論 / SL射影学習 / 追加学習 / 能動学習

研究概要

教師付き学習の研究は,従来,誤差逆伝搬法や射影学習など個々の学習に関するものが中心であった.しかし,このような個別の学習理論だけでは,学習の問題を深く理解することはできない.たとえば,誤差逆伝搬法は丸暗記能力だけを要請するにも関わらず,高い汎化能力を獲得できることがある.このような現象を理解していくためには,個別学習理論から,無限に多くの種類の学習を同時に扱う学習族の理論へと進む必要がある.
当研究代表者は,SL射影学習という概念を導入することにより,無限種類の学習を含む学習族の理論を世界に先駆けて構築してきた.この理論により,標本点が固定されている場合には,記憶学習が時によって高い汎化能力を獲得できる理由等,多くの事柄を理論的に解明してきた.しかし,追加学習や能動学習のように,標本点が変化していく場合には,このSL射影学習の概念は必ずしも使いやすいものではなかった.
ところで,当研究代表者のグループでSL射影学習という概念を導入する際に,実は3種類の方法を考えてきた.そして,標本点が固定されている場合に自然なものとして,現在使われているSL射影学習の定義を採用したのである.今年度は,標本点が変化していく場合まで考えた時にどうなるかという立場から,今までの3種類の定義を見直すことにより,T作用素と呼ばれる作用素を介する定義の方が有効であるという感触を得た.次年度以降,この定義を用いて学習族の理論を再構築することにより,標本点が変化していく場合にも確かに有効であることを明らかにしていく予定である.

研究成果

• [文献書誌] 平林 晃, 小川 英光: "Functional analytic theory of supervised learning"RIMS Kokyuroku. 1253. 1-13 (2002)
• [文献書誌] Ogawa H., Hirabayashi A.: "Sampling theory in white-light interferometry"Sampling Theory in Signal and Image Processing, An International Journal. 1・2. 87-116 (2002)
• [文献書誌] Sugiyama, M., Ogawa, H.: "Incremental construction of projection generalizing neural networks"IEICE Transactions on Information and Systems. E85-D・9. 1433-1442 (2002)
• [文献書誌] Sugiyama, M., Mueller, K.-R.: "The subspace information criterion for infinite dimensional hypothesis spaces"Journal of Machine Learning Research. Vol.3(Nov). 323-359 (2002)
• [文献書誌] Sugiyama, M., Mueller, K.-R: "Selecting ridge parameters in infinite dimensional hypothesis spaces"Artificial Neural Networks. Vol.2415. 528-534 (2002)
• [文献書誌] Sugiyama, M., Ogawa, H.: "Release from active learning/model selection dilemma : Optimizing sample points and models at the same time"In Proceedings of International Joint Conference on Neural Networks (IJCNN2002). Vol.3. 2917-2922 (2002)