2015 Fiscal Year Annual Research Report
Big Data向メモリ管理技術とData Mining性能の関係
| Project/Area Number |
25540093
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
吉田 健一 筑波大学, ビジネスサイエンス系, 教授 (40344858)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | データマイニング / メモリ管理 / big data |
|---|
| Outline of Annual Research Achievements |
提案者はこれまでSPAM filter, P2Pソフト検出技術、違法コピービデオ検出技術と、大規模なオンラインデータの解析技術を研究してきた。研究中に高速で大規模なデータを効率良く処理するためのキャッシュメモリ管理技術を開発してきたが、キャッシュメモリに記憶された部分データを使ったデータ分析の精度研究は不充分であった。また、昨今Big Dataの応用が注目されているが、メモリ管理とデータの分析精度の関係の研究は充分行われているとは言えない。
そこで、本提案では、1)メモリ管理技法とメモリ管理性能の関係、2)メモリ管理性能と各種データ分析精度の関係、の２つを明らかにし、3) 効率の良いデータ分析手法を開発する事を目的とした。
H２５年度は上記研究背景・目的のもと、メモリ管理性能の解析方法を検討し、提案のベースとなった研究で開発した処理方式に、性格の異なるブルームフィルタ処理を組み合わせることで、オンラインでリアルタイムで動作中のマイニングプログラムのメモリ効率を計測する手法を考案し、国際会議で発表した。
H２７年度は、上記メモリ管理技術を使ったマイニングシステムの高速化に成功し、国際会議で発表した。これは、TCPフラグを用いたフィルタリング処理を組み込む事で、メモリのアクセス効率からくる従来の限界をやぶる成果であり、萌芽研究としては具体的な研究成果として予想以上のものであったと考える。また具体的な応用として昨年大きなセキュリティ問題として注目を集めたWWWブラウザーを使ったDDoSのデータマイニング手法を使った自動検知に効果的であることを示した。
|
