2017 Fiscal Year Annual Research Report
Theory of operator manifold and its application to pattern recognition
| Project/Area Number |
17H01760
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山下 幸彦 東京工業大学, 環境・社会理工学院, 准教授 (90220350)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
杉山 将 東京大学, 大学院新領域創成科学研究科, 教授 (90334515)
田中 聡久 東京農工大学, その他の研究科, 講師 (70360584)
鷲沢 嘉一 電気通信大学, 大学院情報理工学研究科, 准教授 (10419880)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 作用素多様体 / 局所等方独立 / 機械学習 / 信号処理 / パターン認識 |
|---|
| Outline of Annual Research Achievements |
場所依存の計量を表現するための有理ガウシアンカーネル関数に関して，これまでは分母のガウシアンカーネルの係数にすべて同じ値を用いていたが，カーネルごとに係数を変える場合の係数決定法を開発し，一定にするよりも良い結果を得ることができた。そして，画像の空間変換を求めるために，画像の単純な局所特徴量を画像相関に導入して求める方法を高速化し，安定にそして高速に空間変換を求めることが可能になった。また，作用素多様体において，局所的な微分方程式を表すために，接空間と余接空間の和空間を構成する着想を得た。また，ウェーブレット画像符号化の予測部に深層学習を導入した実験を行い，問題点を確認した。
ナダラヤ・ワトソン・カーネル回帰とよばれる古典的なノンパラメトリック回帰法に対する計量学習を開発し，高次元データに対して優れた性能を発揮することを理論的および実験的に明らかにした。また，情報理論的学習に基づく教師なし学習の枠組みにおいて，深層ニューラルネットワークを効率よく学習するアルゴリズム，および，動画から注目フレームを抽出する手法を開発した。
カーネル学習において，カーネルパラメータはこれまで交差検定などのグリッドサーチによって求めていたが，ガウシアンカーネルの場合に，これをデータから適応的に求める方法を開発した。また，ガウシアンカーネルの場合，カーネル中心がデータ点に固定されていたが，汎化性能が上がるように中心点も適応的に学習できる方法を開発した。これによって，カーネル適応フィルタとよばれるオンライン回帰手法の汎化性能を大幅に向上することができた。
深層学習をランキング学習へ適用するために拡張し，複数の手法を提案した。提案手法を脳信号処理に応用し，音楽の選好推定問題と自動推薦システムに適用した。提案法はランキングSVMなどの従来手法よりも高い性能を示し，高い精度の自動推薦システムを実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画に沿って開発した手法によって，実験室レベルではあるが，既存の手法と比較して性能向上が確認できたこと。また，研究目的に深く関連するが，研究計画にはなかった新たな着想が得られており，それを発展させることができれば，これまでの理論を大きく塗り替える可能性が得られたこと。さらに，NIPS2017，ICML2017と機械学習分野のトップレベルの国際会議，および，ICASSP2018と信号処理分野のトップレベルの国際会議に論文が採択されていること。
|
| Strategy for Future Research Activity |
昨年度得られた新しい着想に関しては，理論の方向性や理論体系としての枠組みを考えながら，個々の問題，例えば，座標変換に対する共変性，接続の定義などに関して研究を続ける。また，有理ガウシアンカーネル関数に関しては，交互最適化などを用いた，分母関数の係数の計算法を開発する。画像相関により画像の空間変換を求める手法に関しては，スライディング離散フーリエ変換を用いた高速化法を開発すると共に，その手法を画像の特徴抽出法に応用する研究を行う。画像符号化に関しては，深層学習が従来の単純なクラスタリングと線形予測の組み合わせの性能を上回ることができなかった理由を考察すると共に，線形予測のための画像分類に計量を導入する手法を研究する。
そして，理論的な性能保証をもった機械学習アルゴリズムの開発を行う。また，ガウシアンカーネルの新たなパラメータと中心点決定法を，回帰問題（信号推定問題）だけでなく，パターン分類問題にも適用する方法の研究を進める。さらに，正定値行列などの計量学習手法を適用し，性能を比較する。
|
