2014 Fiscal Year Annual Research Report
超高次元データの効率的な類似度検索を可能にする相補的Ｐ２Ｐ分散システムの開発
| Project/Area Number |
24500072
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
菅谷 至寛 東北大学, 工学(系)研究科(研究院), 助教 (80323062)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大町 真一郎 東北大学, 工学(系)研究科(研究院), 教授 (30250856)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | オーバーレイネットワーク / 類似度検索 / Vivaldi |
|---|
| Outline of Annual Research Achievements |
本研究では，peer-to-peerネットワークを利用した分散システムにおいて，類似度検索をはじめとする柔軟な検索を効率的に行うことが可能なシステムを開発することを目的としている．扱うデータが低次元ベクトルで表される場合，ZNetやSkipIndexのような範囲検索が可能な構造化オーバーレイネットワークを利用してこれを実現できる．
しかし，本研究で対象としている応用ではコンテンツは非常に高次元かつスパースなベクトルで表されるため，これらをそのまま適用することはできない．そこで，高次元でスパースな特徴ベクトルを，互いの距離関係をできるだけ保ったまま比較的低次元の空間に変換することを考える．だたしその際，分散環境では大域的な情報をできるだけ用いずに変換を行う必要がある．この変換によって，ZNetなどの範囲検索が可能な構造化オーバーレイを利用して類似度検索が可能になると考えられる．
前年度までに，低次元空間への変換手法として，Counting Filterによる手法とVivaldiによる手法を検討してきた．また，非構造化peer-to-peerネットワークによる類似度検索も併せて検討を行ってきたが，これまでの検討の結果，構造化peer-to-peerネットワークによる手法を発展させることが重要だと考えられたため，最終年度ではCounting FilterとVivaldiを共に用いる手法を開発した．Counting Filterのみを用いた場合や，次元圧縮の手法として一般的だが大域的情報を必要とする主成分分析による手法との比較を行い，メッセージ数が制限された状況において，提案手法が高い検索効率が得られることを実際のデータを用いた実験によって示した．
|
