データマイニングによる高度自己管理機構を有す次世代ストーレジアーキテクチャの確立

2002 年度 実績報告書

• 研究課題/領域番号: 13852015
• 研究機関: 東京大学
• 研究代表者: 喜連川 優 東京大学, 生産技術研究所, 教授 (40161509)
• 研究分担者: 根本 利弘 東京大学, 生産技術研究所, 助手 (20272510) ; 中野 美由紀 東京大学, 生産技術研究所, 助手 (30227863) ; 横田 治夫 東京工業大学, 大学院・情報理工学研究科, 教授 (10242570) ; 吉田 浩 富士通株式会社, FS事業本部・FSシステム事業部・開発部, 部長(研究職)
• キーワード: データマイニング処理 / ストレージシステム / アーキテクチャ / ディスククラスタ / オンライン再構成 / ディスクアレイ / 信頼性 / 連続メディア

研究概要

本研究では、高度な自己管理機構を有する記憶システムのアーキテクチャを確立するとともに、年限内に実装を行いその有効性を明らかにすることを目的とする。従来、ストーレッジ空間はサーバ側のファイルシステム配下にあるため、ファイルシステムの改良により、問題解決が試みられて来ていたが、本研究では、サーバ側ではなく、ストーレッジ側にストーレッジ管理機能を実現することを試みる。
昨年度は、ストーレッジ側で行う管理として、ディスクで構成するクラスタにおいて、ディスクの追加や故障の際のクラスタ再構成を行う手法、そのようなディスククラスタを用いて並列Webサーバーを構成する方法、およびディスクアレイ構成を前提とした連続メディアデータに対するディスクリトライアルゴリズムに関して研究を行った。
本年度は、SAN (Storage Area Network)技術をPCクラスタに導入し、大規模データベース処理に適したストレージ仮想化機構を用いた共有ディスクアクセス方式について検討を行い、プロトタイプシステム上にて基本的な実装を行った。さらに、ストレージ仮想化機構による負荷分散処理方式および動的負荷投入方式について検討を行った。提案する負荷分散方式の有効性を確認するため、並列データマイニング処理を取り上げ、PCクラスタ上に実装し、評価を行った。
ストレージ仮想化機能により、SAN上に分散されたオブジェクトは複数のホストコンピュータから仮想的に一つのオブジェクトとして共有されることになる。このためノード間のデータ量スキューは仮想化機構によりほぼ吸収うすることが可能なことを実験結果から確認した。また、各ノードのCPU性能の違い等による演算処理のスキューもストレージ仮想化機構によりある程度吸収できることを確認し、ストレージ側においての負荷分散機構としてストレージ仮想化機構が有効な方式であることを示した。

研究成果

• [文献書誌] K.GODA, M.KITSUREGAWA, et al.: "Run-time Load Balancing System on SAN-connected PC Cluster for Dynamic Injection of CPU and Disk Resource -A Case Study of Data Mining Application -"13th International Conference on Database and Expert Systems Applications DEXA2002, Aix-en-Provence, France, September 2002. (2002)
• [文献書誌] 合田和生, 田村孝之, 小口正人, 喜連川優: "共有ストレージプールを用いた並列データベース処理に於けるオンデマンド資源調節"電子情報通信学会技術報告データ工学. DE2002-85 (2002)
• [文献書誌] 合田和生, 田村孝之, 小口正人, 喜連川優: "CPU資源並びにディスク資源の動的投入を可能とするSAN型PCクラスタにおける実行時負荷調整機構-データマイニングアプリケーションを用いたケーススタディー-"情報処理学会 並列処理シンポジウムJSPP2002. (2002)
• [文献書誌] 山口実靖, 小口正人, 喜連川優: "高遅延広帯域ネットワーク環境下におけるiSCSIプロトコルを用いたシーケンシャルストレージアクセスの性能評価ならびにその性能向上手法に関する考察"電子情報通信学会,第14回データ工学ワークショップ. 4B-2 (2003)
• [文献書誌] 横山有一, 合田和生, 喜連川優: "SANを用いた仮想化ポリュームとその自律的負荷分散機構"電子情報通信学会,第14回データ工学ワークショップ. 4B-3 (2003)
• [文献書誌] 渡邊明嗣, 横田治夫: "分散ディレクトリ探索コストを考慮した並列データアクセス偏り制御"電子情報通信学会論文誌(D-I). J85-D-I, No.9. 877-886 (2002)