|
当研究ではブースティング法とカーネルマシンの統合のための最初の試みとして昨年度ではブースティングに用いられる有限個の弱学習機から導かれるカーネル関数の族の一般形及びいくつかの具体的な弱学習機カーネル(離散版)を導出した。一方でその計算量を減らすためにブースティング法において弱学習機を無限個用意したときと等価な判別関数の空間を構成できる計算量の少ないカーネル関数(連続版)を導出した。今年度の研究においてはブースティング法とカーネルマシンの利点をより保持した統合を実現するためにカーネル関数をブースティングする方法としてBKM(Boosting and Kernel Machine)を考案した。具体的にはブースティング法における弱学習機と同様に少数の弱学習機から導かれた離散版の弱学習機カーネル関数をステップごとに強力なカーネル関数に更新していく。これはちょうど離散版と連続版のカーネル関数の中間にあたる。実問題における最適なカーネル関数とはこの中間のどこかにあると考えられる。そのような最適なカーネル関数を実現するためには次の二つの自由度を取り除く必要がある。一つはカーネル関数の固有値であり、もう一つは固有関数の決定である。現在これらの自由度を期待リスク最小の観点から決定するアルゴリズムを検討中である。
また上で開発したBKMの変数選択法としての性能を評価した。具体的には人工的にn<<p問題を持つデータ(標本数nとして25、変数の数pとして100変数とした。100変数のうち有効な変数は10変数)を作成した。このデータにおいてBKMはAdaBoostと比べて有効変数を早い段階で検出することができた。ただしその差はこのデータでは大きくなかった。BKMの変数選択としての可能性は上述した固有関数の決定を最適にする必要がある。そのために現在BKMの固有関数を決定するためのモデル選択基準を考案中である。
|
