2013 Fiscal Year Research-status Report
再生核ヒルベルト空間の構造最適化による非線形識別に関する研究
| Project/Area Number |
25870811
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
日野 英逸 筑波大学, システム情報系, 助教 (10580079)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | カーネル法 / エントロピー / 情報量 / 機械学習 / 応用統計 |
|---|
| Research Abstract |
近年の統計的データ解析・機械学習の中心的な研究対象の一つとして，カーネル法と呼ばれる多変量解析の手法群がある．カーネル法の効果は，利用するカーネル関数の種類と，関数を特徴付けるパラメタの選択に大きく依存する．本研究は，特徴空間でデータが望ましい分布に従うようにカーネル関数を最適化する方法論の確立，及び音声認識を始めとする実問題への応用を目的としている．
本研究課題では，カーネル関数によって定められる特徴空間におけるデータの分布を効率的に評価する手法が不可欠である．そこで本年度は，特徴空間におけるデータ分布の高精度・効率的かつ安定した推定量を開発し，研究成果を論文誌にて発表した．
カーネル関数の設計に関する研究として，特に二次元データ内の直線成分の抽出に有用なカーネル関数を提案して国際会議にて発表した．これは，例えば画像内部において直線状に分布しているデータを，特徴空間において近接した領域に配置するような写像に対応するカーネル関数を設計したことに相当する．このカーネル関数によって規定される類似度に基づく非線形クラスタリングを行うことで，既存手法では検出できなかった画像内の直線成分の検出に成功した．
特徴空間におけるデータ分布を判別に適した形状に調整するようなカーネル関数の設計方法として，指数エントロピー不等式に基づくカーネル最適化手法を定式化した（国際会議発表済み）．一方，応用面ではエントロピー基準に基づき学習したカーネル関数による話者認識実験を行ない，既存手法に対する優位性を確認した（国際会議発表済み）．特に提案する方式は，短時間発話データを用いた話者認識タスクにおいて優れた性能を示すことが確認された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成２５年度に実施予定であった，経験特性関数に基づくカーネル学習手法の検討に関しては，十分な進展は得られなかったが，本研究課題の基礎となる，データの分布を推定する基礎技術の開発を行った．確率密度関数やエントロピーといった情報論的な諸量を観測データのみから先見知識無しで推定することは，統計科学や情報理論，機械学習を始めとして多くの分野で重要かつ困難な問題として認識されている．この問題に対して，観測データにサンプリング重みが与えられた状況でも適用可能な確率密度関数や情報量，エントロピーの推定量を開発した．
本研究課題における中心的な問題として考えていた，指数エントロピー不等式に基づくカーネル学習の手法の定式化を行ない，先行的な成果を国際会議にて発表することが出来た．線形判別分析による２クラス判別は，データが特徴空間において正規分布に従っている場合に，理論的に最適な判別器を構成することが出来ることが知られている．カーネル関数により規定される特徴空間におけるデータ分布を直接評価することは困難であるため，２クラスのデータがそれぞれ，同一の共分散行列をもつ正規分布に従う場合に等式として成立するような指数エントロピー不等式を用いて，間接的に特徴空間におけるデータ分布を評価する方法を提案し，指数エントロピー不等式に基づくカーネル関数最適化手法を提案した．提案手法によって得られたカーネル関数を用いた判別の精度は既存の手法と同等程度であるが，理論的な新規性に富む成果が得られたと考えている．本成果は，平成２６年度中に論文誌での発表を見込んでいる．
|
| Strategy for Future Research Activity |
まず，再生核ヒルベルト空間の構造最適化のための要素技術として開発した，重み付きデータに対する確率密度推定手法の応用を展開する．具体的には，非線形・非凸構造なクラスタ構造を持つデータのクラスタリング手法を，確率密度推定手法をベースとして開発する予定である．再生核ヒルベルト空間におけるデータ間の距離に基づいて密度推定をすることが出来るため，開発予定のクラスタリング手法は空間構造の把握と最適化につながる重要な技術となることが予想される．
昨年度開発した，指数エントロピー不等式に基づくカーネル関数の最適化法に関する検討を継続して行う．具体的には，提案した手法がどのようなデータに対して特に有効であるのかを調査する．また，効率的な解法アルゴリズムの開発も検討し，より判別能力が高くなるような目的関数の設計も合わせて検討する．
本研究課題で扱うカーネル法は，通常のベクトルデータ以外の形式のデータも柔軟に扱うことが可能である．今後の研究の推進方策の一つとして，再生核ヒルベルト空間の構造に着目することで，特殊な構造を持ったデータに対するカーネルの設計と最適化も行うつもりである．具体的には，例えばデータがグラフ構造を有する場合，個々のデータに対応するグラフを再生核ヒルベルト空間に写像し計量することで，グラフデータに対しても種々の多変量解析手法を適用することが可能となる．グラフデータ向けのカーネル関数は複数提案されているが，こうしたカーネル関数に付随する特徴空間におけるデータ分布に着目した研究は行われておらず，グラフ向けカーネル関数の最適設計をデータ分布に着目して行うことで新たな知見が得られると考えている．
|
