確率的挙動を示す学習アルゴリズムとそれによる学習概念のクラス分け

Research Project

Project/Area Number	03245201
Research Category	Grant-in-Aid for Scientific Research on Priority Areas
Allocation Type	Single-year Grants
Research Institution	The University of Tokyo
Principal Investigator	今井浩東京大学, 理学部, 助教授 (80183010)
Co-Investigator(Kenkyū-buntansha)	今井桂子津田塾大学, 学芸学部, 助手 (70203289) HOULE Michea 東京大学, 理学部, 助手 (80221000)
Project Period (FY)	1991
Project Status	Completed (Fiscal Year 1991)
Budget Amount *help	¥2,500,000 (Direct Cost: ¥2,500,000) Fiscal Year 1991: ¥2,500,000 (Direct Cost: ¥2,500,000)
Keywords	学習理論 / VC次元 / ランダムサンプリング / 計算量
Research Abstract	本年度の研究では、柔らかい学習を可能にする計算量に基づく学習理論のうち、確率的挙動を示す学習アルゴリズムについて、特にκラベル空間を学習する問題について研究し、またそのための基礎的な解析手法をまとめた。これまでの例からの学習の最も基本的な枠組では、ある概念クラスを学習したい時、その概念クラスに含まれる例(正例)とそれに含まれない例(負例)が与えられるとしていた。このような状況は、概念クラスが1つの場合に応対している。しかし、学習対象の概念クラスが1個だけでなく、κ個ある場合も一般に多い。そのような例としては、3層ニュ-ラルネットで各ユニットを線形のしきい値関数とみなしたときの、n入力層とm中間層で構成されるn次元空間の分割やk次元のk+1等分割問題などが上げられる。そのような場合も、概念クラスが1つの場合を階層的に組み合わせて対処できることもあるが、そうすると対処できたとしてもk個の概念クラスをまとめて取り扱った時よりなんらかの意味で悪くなることが予想される。そこで、k種のクラスがある場合をκラベル空間として定式化し、一般的なkラベル空間の複雑さに関する考察と、ランダムサンプリングによって学習する時の、ある指定された精度を高い確率で達成するために必要なサンプル数の評価を行ない、それを上述のk次元のk+1等分問題に適用した。その応用として、割り当てアルゴリズムの解析を行なった。これによって、正例と負例だけの基本的な場合を繰り返し組み合わせて複雑なものを表現するよりも、k種のものをまとめて取り扱うことにより、より効率的な処理が可能になることを示した。また、本研究はValiantのいわゆるPAC学習モデルでのVC次元を用いた学習理論について、その拡張を試みたものといえ、VC次元を拡張した容量的概念を、Chernoff限界などを用いて証明したものである。