| 研究課題/領域番号 |
24500340
|
|---|
| 研究機関 | 名古屋大学 |
|---|
研究代表者 |
金森 敬文 名古屋大学, 情報科学研究科, 准教授 (60334546)
|
|---|
| 研究期間 (年度) |
2012-04-01 – 2016-03-31
|
| キーワード | 統計的学習理論 / ロバスト統計 |
|---|
| 研究実績の概要 |
密度比とは，確率密度関数の比として定義される関数である．これは２つの確率密度関数の差である密度差とも関連している．おもに機械学習や数理統計学の分野において，近年その重要性が認識されつつあり，応用分野が大きく拡大している．重要な応用例としては，共変量シフトの下での回帰分析や判別分析，統計的仮説検定，独立成分分析，次元削減などが挙げられる．本年度は特に，高次元大規模データ解析への応用を念頭に置きつつ，密度比推定において自然に導入される制約式に着目し，統計的な推定精度を向上させるための方法について研究を進めた．その成果は，T. D. Nguyen, et al., "Constrained Least-Squares Density-Difference Estimation" としてIEICE Transactions on Information and Systems から査読有り論文として出版されている．さらに，数理統計学における重要な概念であるダイバージェンスの研究を進めた．ダイバージェンスは関数空間上の距離を拡張した概念であり，多くの推定アルゴリズムはダイバージェンスを用いて記述することができる．Bernoulliに掲載された査読有り論文，T. Kanamori and H. Fujisawa, "Affine Invariant Divergences associated with Proper Composite Scoring Rules and their Applications"では，とくにデータ変換に対する不変性の概念から出発し，いままで提案された推定量をまったく新しい方向に拡張するようなダイバージェンスのクラスを導出した．その統計的な有用性について，とくに回帰分析とロバスト統計の視点から考察した．提案したダイバージェンスは密度比推定においても重要な役割を果たすことが予想される．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画では，密度比のパラメトリック推定だけでなく，セミパラメトリック推定についても研究を進める予定であった．また，新たに提案されたパラダイムである密度差についても，積極的に研究を進めることを計画していた．実際には，密度比と密度差の推定をスコアに基づいて行う方法に関する研究が急速に進展し，そちらを重点的に進めることとなった．さらにその拡張として，スコアやダイバージェンスの不変性に関する数理的真理を追求し，新しいダイバージェンス・クラスの導出という望外の結果を得た．これにより，新しいロバスト推定の方法を提案することができた．従来法との比較の結果，良好な数値結果を得た．また，機械学習分野での研究では，サポートベクトルマシンの損失関数を拡張することでロバストな学習アルゴリズムが導出できることを示した．加えて，計算効率の高いアルゴリズムを提案した．以上より，数理統計学と機械学習の両面から不確実環境下でロバストな推論を行うための方法論を確立した．内容としては，引き続き理論サイドから極めてインパクトのある研究成果を得ている．今後，これまでに構築したスコアやダイバージェンスの理論的枠組を用いて，とくにセミ・パラメトリック密度比推定や密度差推定のための統計的方法論を確立することを目指す．また，機械学習の研究において培った知見に基づいて，計算効率の高いアルゴリズムを開発し，実用にインパクトを与える研究成果を提供することを目指す．昨年度は，そのための基盤を構築することができたと評価できる．
|
| 今後の研究の推進方策 |
今後は，とくに高次元データや非凸損失のもとでの統計的推論にターゲットを絞って，研究を進めることを計画している．昨今の高次元データに対する高い関心は引き続き継続すると考えられる．密度比推定における高次元データ解析の重要性はさらに大きくなることを予想し，多くの研究リソースを投入する．また，古くからロバスト統計などで扱われている非凸損失について，本格的に研究を推進する．現状では，非凸損失における局所解の統計的性質について，理論的に十分には明らかにされているとは言えない．昨年度に研究を進めた，ロバスト・サポートベクトルマシンに関する研究においても，非凸損失の扱いが重要な課題となった．このような問題では，一般に大域的最適解を得ることが困難である．引き続き効率的な学習アルゴリズムの開発を進める．加えて，必ずしも大域的最適解ではない数値解に対して統計的な保証を与えることは，とくに大規模高次元な非凸問題では今後とくに重要なると予想される．そのような問題意識に基づく胞芽的な研究がここ数年で進められつつある．昨年度，Computational Management Scienceから出版された査読有論文，T. Kanamori and A. Takeda, "A Numerical Study of Learning Algorithms on Stiefel Manifold" においても統計的推論における非凸最適化問題が扱われている．数理統計学が正面から扱ってこなかった関連問題のひとつとして，ノンパラメトリック推論における局所解の統計的性質の評価などがある．これらの問題は今後数年で重要性が認識されると考えられる．非凸損失によるロバスト密度比推定の開発などをターゲットに，今後の研究を進めることを計画している．
|
| 次年度使用額が生じた理由 |
本年度は大規模な国内会議の副実行委員長として業務を行い，また早急に書籍を執筆するなどの作業が生じた．また他の研究課題について予想以上の進展があり，論文執筆や論文の講演活動などを行っていた．これらの理由により，予定していた海外出張を中止せざるを得ない状況であった．また本研究のための計算サーバの購入についても，上の理由から研究の進展に若干の遅れが生じたため，来年度に購入するのが妥当と判断した．
|
| 次年度使用額の使用計画 |
今年度までの研究成果で，密度比推定の半教師付き学習への応用に目途が立っている．ノンパラメトリック推定に拡張したとき，有効推定量としての性質を計算機実験により確認することを計画しているので，このための計算サーバを購入することを予定している．さらに，国際会議での発表のための旅費として使用する．
|
