確率的挙動を示す学習アルゴリズムとそれによる学習概念のクラス分け

1991 Fiscal Year Annual Research Report

• Project/Area Number: 03245201
• Research Institution: The University of Tokyo
• Principal Investigator: 今井 浩 東京大学, 理学部, 助教授 (80183010)
• Co-Investigator(Kenkyū-buntansha): 今井 桂子 津田塾大学, 学芸学部, 助手 (70203289) ; HOULE Michea 東京大学, 理学部, 助手 (80221000)
• Keywords: 学習理論 / VC次元 / ランダムサンプリング / 計算量

Research Abstract

本年度の研究では、柔らかい学習を可能にする計算量に基づく学習理論のうち、確率的挙動を示す学習アルゴリズムについて、特にκラベル空間を学習する問題について研究し、またそのための基礎的な解析手法をまとめた。
これまでの例からの学習の最も基本的な枠組では、ある概念クラスを学習したい時、その概念クラスに含まれる例(正例)とそれに含まれない例(負例)が与えられるとしていた。このような状況は、概念クラスが1つの場合に応対している。しかし、学習対象の概念クラスが1個だけでなく、κ個ある場合も一般に多い。そのような例としては、3層ニュ-ラルネットで各ユニットを線形のしきい値関数とみなしたときの、n入力層とm中間層で構成されるn次元空間の分割やk次元のk+1等分割問題などが上げられる。そのような場合も、概念クラスが1つの場合を階層的に組み合わせて対処できることもあるが、そうすると対処できたとしてもk個の概念クラスをまとめて取り扱った時よりなんらかの意味で悪くなることが予想される。
そこで、k種のクラスがある場合をκラベル空間として定式化し、一般的なkラベル空間の複雑さに関する考察と、ランダムサンプリングによって学習する時の、ある指定された精度を高い確率で達成するために必要なサンプル数の評価を行ない、それを上述のk次元のk+1等分問題に適用した。その応用として、割り当てアルゴリズムの解析を行なった。これによって、正例と負例だけの基本的な場合を繰り返し組み合わせて複雑なものを表現するよりも、k種のものをまとめて取り扱うことにより、より効率的な処理が可能になることを示した。また、本研究はValiantのいわゆるPAC学習モデルでのVC次元を用いた学習理論について、その拡張を試みたものといえ、VC次元を拡張した容量的概念を、Chernoff限界などを用いて証明したものである。

Research Products

• [Publications] S.Hasegaw, H.Imai and k.Hakata: "An Analysis of Randomized Shear Sort on the Mesh Computer." Lecture Notes in Computer Science. 557. 219-2281 (1991)
• [Publications] 長谷川 進: "eー近似の拡張とその応用" 京都大学数理解析研究所「理論計算機科学とその周辺」.
• [Publications] S.Hasegawa and K.Kakihara: "A generalization of e‐approximation and its application." Proc.ACM Comp.Geom.Symp.