2016 Fiscal Year Annual Research Report
Statistics for Big Data: Development of Theories and Tackling the 3Vs
| Project/Area Number |
26540010
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
青嶋 誠 筑波大学, 数理物質系, 教授 (90246679)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
矢田 和善 筑波大学, 数理物質系, 准教授 (90585803)
赤平 昌文 筑波大学, 数理物質系(名誉教授), 名誉教授 (70017424)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | ビッグデータ / 潜在構造分析 / 異常値 / 欠損値 / 非正則推定論 |
|---|
| Outline of Annual Research Achievements |
本年度は、研究計画の最終年度にあたる。ビッグデータを扱う上で、大量に発生する異常値や欠損値に対して、それらを逐一検出したり補填したりすることは、理論面からも計算コストの面からも実用的ではない。本年度は、異常値や欠損値はビッグデータに当然あるものと考え、非正則な非ガウス分布に対する潜在構造分析を考えた。青嶋と矢田によって提唱されたクロスデータ行列法を、ある方法でビッグデータに適用すると、ビッグデータの潜在構造が浮き彫りになり、その際に異常値を自動検出できることを発見した。青嶋と矢田は、この方法論が理論的に推測の精度を保証するものであることを証明し、論文に纏めて国際学術誌に投稿中である。青嶋と矢田は、赤平と連絡を密に取りながら、非正則な分布における潜在構造分析の推測の精度を非正則推定論を用いて精密に計算し、異常値・欠損値が混入したビッグデータの信号行列を、高速かつ高精度に再構成する方法を開発した。得られた結果は、ビッグデータの巨大なノイズを除去して潜在構造を高い精度で分析するための、統一的な方法論を提供する可能性を秘めている。今後、ビッグデータの解析に、飛躍的な発展が期待できるだろう。さらに、青嶋は、推測の誤差限界について理論的な定式化を行うことにも成功した。これらの成果は、現在、投稿準備中である。
得られた結果について、日本統計学会やトルコで開催された国際学会などで招待講演を行った。さらに、関連する国際シンポジウムを筑波大学で開催し、著名な研究者を国内と海外から招聘して、ビッグデータを扱う様々な分野の研究者から高い関心を集めた。研究成果や問題提起について活発な意見交換がなされ、大変に盛況な国際シンポジウムとなった。
|
