| 研究概要 |
本研究の成果を4つに分類してその概略を述べる.
1.学習における情報圧縮と情報獲得
PAC学習モデルでは,例題による学習アルゴリズムは,目標関数〓の例題の系列を入力すると,〓を十分な精度で近似する仮説hを出力する.これとは別に,目標関数〓に関する情報である,例題の系列を情報圧縮して仮説hとして出力するという立場から,Occamアルゴリズムが定義される.これまでに,Occamアルゴリズムが直ちにPACアルゴリズムとなることや,逆にPACアルゴリズムが与えられたとき,それをもとにランダムOccamアルゴリズムが構成可能であることが知られている.
そこで,PACアルゴリズムは,ランダム化を行わないでも,適当な自然な条件のもとで,直ちにOccamアルゴリズムにはなり得ないかという問題について検討した.まず始めに,一般に,PACアルゴリズムは,必ずしもOccamアルゴリズムとはならないことを,その反例を与えることにより示した.この反例のアルゴリズムはVC次元を増大させるように不自然に振舞うが,このような振舞いを禁止し,PAC学習アルゴリズムがOccamアルゴリズムとなるための自然な条件が求められる.そのような条件として,例題の中に反例が生じない間はそれまでの仮説を保存する(出力し続ける)という保存性の概念や,例題の個数が増すのに従って仮説の精度は増大するという単調性の概念を新しく導入した.これらの概念をもとにして,保存的または単調なPAC学習アルゴリズムは,直ちにOccam学習アルゴリズムとなるという命題が成立すると予想される.上で述べた反例は,保存的でも単調的でもないことを確かめることができる.これまでのところ,上に述べた命題は証明されていないが,いくつかの自然な条件のもとでこの命題が成立することを証明した.その他,片側学習をするのに必要となる例題数の厳密な評価を行なうとともに,学習過程を情報獲得過程とみなし,学習,情報圧縮,情報獲得の関連を導いている.
2.積和形論理式のPAC学習
積和形論理式のクラスDNFが例題からPAC学習可能かという問題は,PAC学習の分野の主要な未解決問題である.これまで,種々の制限を加えて,この問題は部分的に解かれてきた.本研究ではまず,一様分布やそれの拡張として従来とりあげられてきた積分布やq限定分布をすべて含む,スムーズ分布の概念を新しく導入し,スムーズ分布のもとでk-termMDNFやその拡張であるk項関数を学習するアルゴリズムを与えた.kが定数の場合k-termMDNFは例題からPAC学習であるが,これまで,kが目標関数の変数の個数nに依存する場合の学習可能性については知られていなかったが,本研究ではじめて,logn-termMDNFをPAC学習するアルゴリズムが与えられた.
3.計算複雑さと近似計算
学習対象のクラスは,そのクラスの関数を近似する仮説を多項式時間で出力する学習アルゴリズムが存在するとき,学習可能と定義される.そのため,学習可能性の問題に関連して,論理関数の複雑さ,近似計算,疑似ランダム性等に関連するいろいろの問題が派生する.本研究では,これらの関連するテーマに関する成果も得ている.
4.パターン整合法における特徴抽出
パターン整合法に基づく文字認識アルゴリズムでは,文字パターンからの特徴抽出が認識精度と密接に関連する.情報圧縮の視点から,認識率を向上させる特徴量について検討し,各種特徴量と認識率の関係を認識実験により明らかにした.
|
