2002 Fiscal Year Annual Research Report
| Project/Area Number |
14780315
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
佐土原 健 独立行政法人産業技術総合研究所, 知能システム研究部門, 研究員 (90344168)
|
|---|
| Keywords | 機械学習 / 分類学習 / SVM / カーネル法 / 容量制御 / データマイニング / 帰納学習 |
|---|
| Research Abstract |
平成14年度は、ブール関数の帰納学習におけるオーバーフィッティングを抑制する目的で、kDNFカーネル関数を用いた容量制御機構に関する研究を行った。kDNFカーネルは、長さが高々kの論理積が張る特徴空間H_kの内積を効率良く計算する関数であり、この特徴空間上の線形識別関数を効率良く学習する目的で導入された。本研究は、このkDNFカーネルを、H_m(m>k)上の線形識別関数f_mのH_kへの制限f_kを計算する目的で利用することを特徴とする。kDNFカーネルを用いて計算されたf_k分類精度を訓練データを用いて評価して、もしも分類精度が著しく劣化しないならば、長さがkよりも大きな論理積は、分類に寄与しないと考えられる。そこで、このような論理積を取り除いた、より容量の小さな特徴空間で新たな線形識別関数を学習することで、オーバーフィッティングを抑制し、f_mよりも分類精度の高い識別関数を学習することが可能になる。本研究では、このような容量制御機構について理論的に考察すると同時に、実際に学習システムを実装し、容量制御機構の有効性を検証するための計算機実験を行った。この学習システムは、学習エンジンとしてサポートベクターマシンを用いているが、カーネル関数の計算にビット演算を用いたり、バイアス項を0に固定した凸二次計画問題ソルバーを用いる等、ブール関数の学習に特化した効率的な実装を工夫した。この学習システムを用いて、ランダムに生成したブール関数の学習実験を行い、変数の数、ブール関数の複雑さ、サンプル数、ノイズ率等を、さまざまに変化させるときに、目的のブール関数を、その入出力対からどの程度精度良く学習できるかについて調べることで、提案する容量制御機構の有効性を検証することができた。これら一連の研究成果は、データマイニングに関する主要な国際会議であるIEEE ICDM2002において発表し、一定の国際的評価を得た。
|
