2012 Fiscal Year Research-status Report
| Project/Area Number |
24500340
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
金森 敬文 名古屋大学, 情報科学研究科, 准教授 (60334546)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 機械学習 / 数理統計学 |
|---|
| Research Abstract |
密度比は2つの確率密度関数の比として定義される．近年，おもに機械学習の分野において密度比の重要性が認識され，密度比を用いた統 計的推論の応用分野が爆発的に拡大している．本研究では，高次元大規模データの解析への応用を念頭に置きつつ，密度比推定のための統計手法を提案し，効率的な計算アルゴリズムを開発することを目指す．加えて，理論的な研究成果をソフトウェア開発へと発展させる．理論から応用分野まで，統計科学の全ての階層に大きなインパクトを与えることを視野に入れている．
本研究の初年度では，密度比推定について主に以下に示すような統計的性質に関する研究を進めることを予定していた．（１）密度比推定の統計的推定精度に関する理論的研究，（２）セミパラメトリック密度比推定，（３）ノンパラメトリック密度比推定．
初年度では，とくに（３）の研究が進んだ．カーネル法を用いた密度比推定について考察し，統計的な性質とアルゴリズムの計算量について次の論文で報告している．T. Kanamori, et al., Computational Complexity of Kernel-Based Density-Ratio Estimation: A Condition Number Analysis. Machine Learning, vol. 90, pp. 431-460,March 2013. これにより，高次元大規模データに対する密度比推定の実際的な応用への道が切り開かれた．
また今年度は密度比の推定のみならず，密度の差を直接推定する方法について，研究を進めることができた．密度比と異なり密度差は，安定した推定量を求めることが可能になる．このため，とくに大規模高次元データへの応用に効果があると考えられる．この成果については，当該分野のトップ国際会議において報告されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画では，ノンパラメトリック密度比推定だけではなく，その他の問題設定における密度比推定の統計的性質について調べることを計画していた．実際には，今年度はノンパラメトリック密度比推定のアルゴリズムを提案し，その統計的性能を追求した．さらに計算量に関する考察を，平滑化解析とよばれる新しい評価法に基づいて行った．その結果，提案法は統計的な性質においても，ノイズのある状況下でのアルゴリズム計算量においても，他の手法と比較して非常に優れていることが明らかになった．計算アルゴリズムに関する考察は次年度以降に行うことを予定していたが，カーネル密度比推定法は平滑化解析と極めて相性がよく，そちらを優先して研究を進めることとなった．
セミパラメトリック密度比推定については，新しいアイディアを得ており，研究が進展中である．パラメトリック密度比推定に対しては，密度の差を推定する方法と対比して解析を進めることにより，当初は予定していなかった新たな研究の方向性を見出しつつある．
以上を鑑みると，当初の研究計画に完全に沿ってはいないが，内容としては，理論的な視点から十分にインパクトのある研究成果を得ている．従って，研究計画には若干の修正が必要になる可能性があるが，今後の研究も順調に進展することが期待される．
|
| Strategy for Future Research Activity |
密度比のパラメトリック推定，セミパラメトリック推定に関する研究を進展させる．それとともに，新たに提案されたパラダイムである密度差についても研究を進める．密度比と密度差は応用分野が重なることが多いが，問題の統計的性質によって，どちらを用いるべきかについては未知の事柄が多くある．これについては今後，研究を進展させる必要が大いにある．さらに密度比や密度差を応用した推定法や学習アルゴリズムの開発も進めていく．密度比は，重み付き回帰分析など多くの統計手法に組込むことが可能である．密度比推定を統計学における基盤技術と位置付け，応用の幅を広げていくことを計画している．
当初，研究の２年目では高次元データに対する密度比推定法のアルゴリズムを確立することが計画されていた．初年度のカーネル法による密度比推定アルゴリズムにより，高次元データに対する実用的な密度比推定法がある程度は確立されたと考える．しかし，推定量の疎性(スパース性)を的確に捉える手法については，まだ不十分である．
回帰分析などにおいて推定量に疎性を持たせることは，高次元データの構造推定などに威力を発揮し，データ解析において強力な手法となりつつある．また理論的な解析についても，多くの研究者の貢献により一定の成果が得られつつある．密度比や密度差の推定に対しては，それらに対応する研究はまだ行われていない．したがって，密度比に対するスパース推定量の提案とその統計的性質の理論解析，効率的な計算アルゴリズムの開発，さらにRやmatlabなどのプログラミング言語による実装まで含めて，研究を精力的に進めていくことを計画している．
|
| Expenditure Plans for the Next FY Research Funding |
次年度使用額は22,342円となっている．直接経費の請求額が、原則１０万円単位となっており，このため残余が生じた．来年度以降に請求する研究費と合わせた使用計画に関しては，大きな変更はない．
|
-
-
-
-
-
-
[Presentation] Density-Difference Estimation.2012
Author(s)
Sugiyama M., Kanamori T., Suzuki T., Plessis M., Liu S., Takeuchi I.
Organizer
The Neural Information Processing Systems(NIPS)
Place of Presentation
Nevada, USA
Year and Date
20121203-20121206
-
-
-
-
-
-
