2013 Fiscal Year Research-status Report
| Project/Area Number |
24500340
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
金森 敬文 名古屋大学, 情報科学研究科, 准教授 (60334546)
|
|---|
| Keywords | 数理統計学 / 機械学習 |
|---|
| Research Abstract |
密度比は２つの確率密度関数の比として定義される量であり，これは２つの確率密度関数の差である密度差と密接に関連している．近年，おもに機械学習や数理統計学の分野において密度比や密度差の重要性が認識されつつあり，応用分野が大きく拡大している．例えば，共変量シフトの下での回帰分析や判別分析，統計的仮説検定，独立成分分析，次元削減などが重要な応用例として挙げられる．本研究では，特に高次元大規模データ解析への応用を念頭に置きつつ，密度比や密度差の推定のための統計手法を提案する．さらに効率的な計算アルゴリズムを開発することを目指す．加えて，理論的な研究成果をソフトウェア開発へと発展させる．以上の研究目標を達成するために，本研究の２年目の計画として，主に以下に示すような研究を予定していた．１．パラメトリック密度比・密度差推定，２．セミパラメトリック密度比・密度差推定，３．密度差推定の統計的性質に対する理論的研究．当該年度において，主に１と３に関する研究で成果を得た．１については，M. Yamada, et al., Relative Density-Ratio Estimation for Robust Distribution Comparison, Neural Computationにおいて発表されている．また３については T. Kanamori and M. Sugiyama, Statistical Analysis of Distance Estimators with Density Differences and Density Ratios. Entropy において論文として公表されている．これらの研究により，密度比と密度差の間の関係について理解が深まり，どのような統計的推論に対してどちらがより有効か，実践的な立場から示唆を与える研究成果の端緒を開くことができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画では，密度比のパラメトリック推定だけでなく，セミパラメトリック推定についても研究を進める予定であった．また，新たに提案されたパラダイムである密度差についても，積極的に研究を進めることを計画していた．実際には，密度比と密度差の推定をスコアに基づいて行う方法に関する研究が急速に進展し，そちらを重点的に進めることとなった．具体的には，密度比と密度差の推定量の性質の違いについて，ロバスト統計の観点から研究を進めた． さらに密度比推定の安定化のための推定法について考察を進めた．この結果，密度比と密度差の両方に関して，安定して推定を行うための方法を提案することができた．さらに密度差に対するバイアス補正推定量を提案した．以上の結果は，実際のデータ解析を行う上で非常に重要である．スコアに基づく方法は，さまざまなデータ解析に対して応用可能な汎用的手法であり，統計的決定論の立場から密度比や密度差の推定を考える上で基本的なツールとなり得る．したがって，スコアを用いた統計的推論という視点からの研究は，既存の統計的手法を拡張するための理論的基盤として，今後の進展が大いに期待される．さらに当該年度は，密度比の半教師付き学習への応用においても研究成果を得ることができた．これにより，さらに密度比の応用が広がったことになる．以上を鑑みると，当初の研究計画に完全に沿ってはいないが，内容としては，理論サイドから極めてインパクトのある研究成果を得ている．今後，スコアを用いたパラメトリック密度比推定や密度差推定の枠組を理論的に拡張し，推定の安定性や精度の向上を目指すことになる．さらに，セミパラメトリック推定への展開についても考察を深め，実践的統計手法の開発に本格的に着手することを計画している．当該年度は，そのための基盤を腱固に構築することができたと，高く評価するものである．
|
| Strategy for Future Research Activity |
次年度は，高次元データに対する密度比や密度差の推定，またセミパラメトリック推定について研究を進めることを計画している．それに伴って，高速な推定アルゴリズムの提案とソフトウェアの開発を進めていく．本研究の２年次では，密度差に対する具体的な推定方法を提案し，その統計的性質を理論的に明らかにした．いままで研究を進めてきた密度比は，重み付き回帰分析など多くの統計手法に組込むことが可能である．一方，密度差も同様にさまざまな統計的問題に応用することが可能と考える．密度比と密度差は応用分野が重なることが多いが，問題の統計的性質によって，どちらを用いるべきかについては未知の事柄が未だ多くある．これについては今後，研究を進展させる必要が大いにある 次年度は最終年度であるため，より具体的なアウトプットを目指して研究を進める．とくに応用サイドからの要請に積極的に応えるため，密度差が適合するようなデータ解析に対する実践的方法に関する研究を推進する．高次元データに対する推定については，統計的性質の解明や高速計算アルゴリズムの開発など，課題が残っている．カーネル法を用いた密度差推定の方法などは実用上重要であるため，開発を推し進めることを計画している．一方，推定量の疎性(スパース性)を的確に捉える手法については，とくに密度比や密度差については未だ不十分である．回帰分析などにおいて推定量に疎性を持たせることは，高次元データの構造推定などに威力を発揮し，データ解析において強力な手法となりつつある．また理論的な解析についても，多くの研究者の貢献により一定の成果が得られつつある．密度比や密度差の推定に対しては，これらに対応する研究は行われていない．この方面の研究を精力的に進めていくことを計画している．
|
