2010 Fiscal Year Annual Research Report
超高次元データに関する統計的推定原理確立と大規模データマイニングへの適用
| Project/Area Number |
22300054
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
鷲尾 隆 大阪大学, 産業科学研究所, 教授 (00192815)
|
|---|
| Keywords | 統計数理 / データマイニング / 高次元データ / 次元の呪い / 確率密度関数 / データ分布 |
|---|
| Research Abstract |
初年度は、(1-1)各次元の呪い現象を洗い出し、その相互関係の整理、類型化を行う研究と、(1-2)次元の呪いの各発生機構の解明と数理的特徴づけを行う研究に取り組んだ。(1-1)各次元の呪い現象の洗い出しとそれらの相互関係の整理、類型化
現状では個別に知られている各種次元の呪いに関する知見を収集し、それらを原因に基づき類型化することに取り組んだ。その結果、「統計的大数の法則に基づくデータ間距離の均一化」と「超高次元空間の性質に基づくデータ分布の偏り」に類型化した。(1-2)次元の呪いの根本的な各発生機構の解明と数理的特徴づけ
超高次元ないしは次元d→∞の極限における任意の確率密度関数とそれに従うデータ分布の数理的な挙動を調べる方法論を検討した。この結果、高階微分可能な確率密度関数について、その展開近似によりd→∞の極限における挙動を調べる方法を定式化した。
さらに、(2-1)次元の呪いを克服する一般的な統計的推定原理の確立に取り組んだ。(2-1)次元の呪いを克服する一般的な統計的推定原理の確立
(1-1)及び(1-2)で解明された2つの次元の呪いの発生機構や数理的特徴により、これらの効果が影響する統計的推定過程を明らかにし、これらを克服する一般的統計的推定原理を検討した。現状ではまだ検討途上の段階であるが、超高次元空間において定義する距離の性質が一定の条件を満たす時に、上記2つの次元の呪いを軽減しうる場合があることの示唆を得た。
|
