2013 Fiscal Year Annual Research Report
Ｌｉｎｋｅｄ Ｄａｔａ検索のための結合効率化に基づくメタデータクラウドの研究開発
| Project/Area Number |
24680010
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
的野 晃整 独立行政法人産業技術総合研究所, 情報技術研究部門, 主任研究員 (10443227)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | データベース / 並列・分散処理 / メタデータ / 構造化文書 |
|---|
| Research Abstract |
本研究の目的は、Linked Dataほどの大規模メタデータに対し、A)中間データの再利用による演算省略や B)ダイジェストデータを用いた代理演算による結合演算の効率化などの手法を提案し、複雑な検索です高速に処理できるメタデータクラウドを実現することである。
昨年度は3カ年の2年目にあたり、初年度で研究開発した要素技術とメタデータクラウドのアーキテクチャに基づいて、ソフトウェア開発の大半を完了させ、基礎的な性能評価実験を行った。開発では既存ソフトウェアを積極的に利用し、開発コストを抑えた効率的に実装した。実験を通じた性能評価では、一部の手法において期待する性能が得られなかったが、その結果を元に新たな手法を開発した。この新しい手法については十分な性能評価実験が出来ていないため、昨年度の計画であった論文発表することができていないが、予備実験を行った結果、効率的かつ汎用的であることが期待できることを確認した。
期待する性能が得られなかった理由としては、転送量抑制による性能向上を期待した反面、そのための計算コストが大規模化に伴って肥大化したためである。
本年度の成果の意義および重要性について、提案した並列結合アルゴリズムは、メタデータのみでなく、任意データに適用できる結合アルゴリズムであり、結合選択率（入力に対する出力の割合）が十分小さい場合に、効果を発揮する。また、1対1のみの結合だけでなく、複数表を同時に結合することができるような拡張も考案している。そのため、Bigdataなどの大規模データ処理にも利用できることから、高い重要性を有している。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では初年度で提案した手法を、次年度に大規模実験を行い、その成果を国際会議にて発表する予定であったが、大規模実験の結果、提案手法の1つについて、期待する性能を得られなかった。その結果を元に、新たな手法を開発したが、十分な実験が出来ていないためまだ論文投稿にまでは至っていない。ただし、予備実験においては効率性および汎用性において期待できる値を示していることからも最終年度に十分遅れを取り戻せると考えている。
詳細について述べると、期待する性能が得られなかった手法とは、MapReduce上での結合演算アルゴリズムである。従来の手法ではすべてのレコードをMapperが読込み、Reducerにすべて転送して各ノードで結合演算を行う。それに対し、提案手法ではMapperですべてのレコードを読み込んだ後、ダイジェストデータを生成して、ダイジェストデータのみをReducerに送信し、ダイジェストデータのみでの代理演算を行い、その結果に基づいて、再度Mapperから結合するレコードのみをReducerに転送する手法である。この手法では、転送量を抑制できることから性能向上を期待したが、ダイジェストデータの転送量がそれほど抑えられなかったことや代理演算が高負荷であったことから、性能向上が見られなかった。
しかしながら、この結果を経て、ダイジェストデータの構造を変更したり、最初の読み込み時に索引を同時作成するなどの手法を適用する新たな手法を考案した。この手法についてはまだまだ十分な性能評価が出来ていないため、論文投稿まで至っていないが、予備実験において、効率的かつ汎用的であることが期待できることを確認している。
|
| Strategy for Future Research Activity |
今年度、新たに考案した手法について更なる大規模実験を行い、その有用性を示し、国際会議にて論文発表を行う。
最終年度であることから、これまでの成果をまとめて、応用への適用を視野に入れた評価実験を行い、その成果を論文発表する。
|
| Expenditure Plans for the Next FY Research Funding |
研究実績の概要等で記述した通り、初年度提案した手法の1つにおいて、期待通りの性能が得られなかったため、大規模実験を実施することができなかった。そのための開発費および実験のための費用として、次年度使用額が生じた。
研究実績の概要等で記述した通り、新たな手法を開発しており、その予備実験では効率的かつ汎用的であることが期待できる。その新たな手法について大規模な性能評価実験を行う予定で、次年度使用額はこのために使用する予定である。
|
