データマイニングによる高度自己管理機構を有す次世代ストレージアーキテクチャの確立

• Project/Area Number: 13852015
• Research Category: Grant-in-Aid for Scientific Research (S)
• Allocation Type: Single-year Grants
• Research Field: 計算機科学
• Research Institution: The University of Tokyo
• Principal Investigator: 喜連川 優 東大, 生産技術研究所, 教授 (40161509)
• Co-Investigator(Kenkyū-buntansha): 根本 利弘 東京大学, 生産技術研究所, 助手 (20272510) ; 中野 美由紀 東京大学, 生産技術研究所, 助手 (30227863) ; 横田 治夫 東京工業大学, 大学院・情報理工学研究科, 教授 (10242570) ; 吉田 浩 富士通株式会社, FS事業本部・FSシステム事業部・開発部, 部長(研究職)
• Project Period (FY): 2001 – 2005
• Project Status: Completed (Fiscal Year 2003)
• Budget Amount: ¥57,850,000 (Direct Cost: ¥44,500,000、Indirect Cost: ¥13,350,000); Fiscal Year 2003: ¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000); Fiscal Year 2002: ¥24,440,000 (Direct Cost: ¥18,800,000、Indirect Cost: ¥5,640,000); Fiscal Year 2001: ¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
• Keywords: データマイニング処理 / ストレージシステム / アーキテクチャ / ディスククラスタ / オンライン再構成 / ディスクアレイ / 信頼性 / 連続メディア

Research Abstract

本研究では、高度な自己管理機構を有する記憶システムのアーキテクチャを確立するとともに、年限内に実装を行いその有効性を明らかにすることを目的とする。従来、ストーレッジ空間はサーバ側のファイルシステム配下にあるため、ファイルシステムの改良により、問題解決が試みられて来ていたが、本研究では、サーバ側ではなく、ストーレッジ側にストーレッジ管理機能を実現することを試みる。
昨年度は、ストーレッジ側で行う管理として、ディスクで構成するクラスタにおいて、ディスクの追加や故障の際のクラスタ再構成を行う手法、そのようなディスククラスタを用いて並列Webサーバーを構成する方法、およびディスクアレイ構成を前提とした連続メディアデータに対するディスクリトライアルゴリズムに関して研究を行った。
本年度は、SAN (Storage Area Network)技術をPCクラスタに導入し、大規模データベース処理に適したストレージ仮想化機構を用いた共有ディスクアクセス方式について検討を行い、プロトタイプシステム上にて基本的な実装を行った。さらに、ストレージ仮想化機構による負荷分散処理方式および動的負荷投入方式について検討を行った。提案する負荷分散方式の有効性を確認するため、並列データマイニング処理を取り上げ、PCクラスタ上に実装し、評価を行った。
ストレージ仮想化機能により、SAN上に分散されたオブジェクトは複数のホストコンピュータから仮想的に一つのオブジェクトとして共有されることになる。このためノード間のデータ量スキューは仮想化機構によりほぼ吸収うすることが可能なことを実験結果から確認した。また、各ノードのCPU性能の違い等による演算処理のスキューもストレージ仮想化機構によりある程度吸収できることを確認し、ストレージ側においての負荷分散機構としてストレージ仮想化機構が有効な方式であることを示した。

Research Products

• [Publications] K.GODA, M.KITSUREGAWA, et al.: "Run-time Load Balancing System on SAN-connected PC Cluster for Dynamic Injection of CPU and Disk Resource -A Case Study of Data Mining Application -"13th International Conference on Database and Expert Systems Applications DEXA2002, Aix-en-Provence, France, September 2002. (2002)
• [Publications] 合田和生, 田村孝之, 小口正人, 喜連川優: "共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節"電子情報通信学会技術報告データ工学. DE2002-85 (2002)
• [Publications] 合田和生, 田村孝之, 小口正人, 喜連川優: "CPU資源並びにディスク資源の動的投入を可能とするSAN型PCクラスタにおける実行時負荷調整機構-データマイニングアプリケーションを用いたケーススタディー-"情報処理学会 並列処理シンポジウムJSPP2002. (2002)
• [Publications] 山口実靖, 小口正人, 喜連川優: "高遅延広帯域ネットワーク環境下におけるiSCSIプロトコルを用いたシーケンシャルストレージアクセスの性能評価ならびにその性能向上手法に関する考察"電子情報通信学会,第14回データ工学ワークショップ. 4B-2 (2003)
• [Publications] 横山有一, 合田和生, 喜連川優: "SANを用いた仮想化ポリュームとその自律的負荷分散機構"電子情報通信学会,第14回データ工学ワークショップ. 4B-3 (2003)
• [Publications] 渡邊明嗣, 横田治夫: "分散ディレクトリ探索コストを考慮した並列データアクセス偏り制御"電子情報通信学会論文誌(D-I). J85-D-I, No.9. 877-886 (2002)
• [Publications] Daisuke Ito, Haruo Yokota: "Automatic Reconfiguration of an Autonomous Disk Cluster"Proceedings of 2001 Pacific Rim International Symposium on Dependable Computing (PRDC 2001). 169-172 (2001)
• [Publications] 伊藤大輔, 横田治夫: "自律ディスク上の分散ディレクトリの負荷均衡機構を用いたクラスタ再構成"電子情報通信学会,第13回データ工学ワークショップ. C3 (2002)
• [Publications] 花井知広, 横田治夫: "自律ディスクを用いたWebサーバーの構成"電子情報通信学会,第13回データ工学ワークショップ. C3-C4 (2002)
• [Publications] 戸田誠二, 横田治夫: "ディスクアレイ構成における連続メディアデータに対するディスクリトライアルゴリズムの評価"電子情報通信学会,第13回データ工学ワークショップ. C3-C5 (2002)
• [Publications] Hisham Feelifl, Masaru Kit-suregawa: "RING : A Strategy for Minimizing the Cost of Online Data Placement Reorganization for Btree Indexed Database over Shared-nothing Parallel Machines"Advanced Applications (DASFAA2001). 190-199 (2001)
• [Publications] 合田和生, 田村孝之, 喜連川優: "並列データベースカーネルDBKernelを用いた高速情報検索処理:TRECデータによる実験"電子情報通信学会第12回データ工学ワークショップ(DEWS2001). 3A-3. (2001)