2001 Fiscal Year Annual Research Report
| Project/Area Number |
11480072
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
小川 英光 東京工業大学, 大学院・理工学研究科, 教授 (50016630)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
杉山 将 東京工業大学, 大学院・理工学研究科, 助手 (90334515)
平林 晃 山口大学, 工学部, 講師 (50272688)
熊沢 逸夫 東京工業大学, 大学院・理工学研究科, 助教授 (70186469)
|
|---|
| Keywords | 教師付き学習 / 汎化能力 / 誤差逆伝搬法 / 記憶学習 / 許容性 / 射影学習族 / 部分空間情報量基準 / SIC |
|---|
| Research Abstract |
訓練データを用いた教師付き学習の目的は,訓練データ以外の入力に対しても正しく答えられるようにすること,すなわち,高い汎化能力を得ることである.しかし,誤差逆伝搬法に代表される多くの学習法は,訓練データに対する誤差だけを小さくしようとする記憶学習であり,高い汎化能力が得られるという直接的な理論的保証はない.
こうして,次の問題が生じる.第一は直接的には汎化能力を要請していない記憶学習によって高い汎化能力を得ることができる場合がある理由を解明することであり,第二は記憶学習が有効に働く適用範囲を見極めること,第三は適用範囲を更に拡大する方法を開発することである.
第一の問題に対しては,「許容性」の概念を導入することにより明確な解答を与えた.第二の問題に対しては,まず「射影学習族」という概念を導入することにより,無限に多くの種類の学習方式を同時に論じることができる理論的基盤を確立した.そして,許容性と射影学習族の概念を活用することにより,狭義の記憶学習の射影学習族における適用範囲を明らかにした.第三の問題に対しては,多くの解決法があることを示した.まず記憶学習の概念を機械的記憶学習から誤り修正型記憶学習へ拡張し,適用範囲を更に拡大できることを示した.また能動学習の立場から,汎化能力を最も高める最適な訓練データの設計法を与えた.更にモデル選択の立場から,部分空間情報量基準(Subspace Information Criterion: SIC)を提案した.これは,有限個の訓練データに対しても有効性が理論的に保証されたモデル選択基準になっている.このSICを用いることにより,例えば正則化学習の最適パラメータの決定法を与えた.
|
-
[Publications] Masashi Sugiyama, Hidemitsu Ogawa: "Active learning for optimal generalization in trigonometric polynomial models"IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences. E84-A・9. 2319-2329 (2001)
-
[Publications] Akiko Nakashima, Akira Hirabayashi, Hidemitsu Ogawa: "Error correcting memorization learning for noisy training examples"Neural Networks. 14・1. 79-92 (2001)
-
[Publications] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental projection learning for optimal generalization"Neural Networks. 14・1. 53-66 (2001)
-
[Publications] Masashi Sugiyama, Hidemitsu Ogawa: "Subspace information criterion for model selection"Neural Computation. 13・8. 1863-1889 (2001)
-
[Publications] Masashi Sugiyama, Hidemitsu Ogawa: "Incremental active learning for optimal generalization"Neural Computation. 12・12. 2909-2940 (2000)
-
[Publications] 平林晃, 小川英光: "射影学習族"電子情報通信学会論文誌(D-II). J83-D-II・2. 754-767 (2000)
-
[Publications] 小川英光: "脳科学大事典(甘利俊一, 外山敬介編)"朝倉書店. 1006 (2000)
