The Study of Fast Virtual Memory Systems for Massive data Processing

• Project/Area Number: 21500062
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Computer system/Network
• Research Institution: Seikei University
• Principal Investigator: MIDORIKAWA Hiroko 成蹊大学, 理工学部・情報科学科 (00190687)
• Project Period (FY): 2009 – 2011
• Project Status: Completed (Fiscal Year 2011)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2011: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2010: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2009: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
• Keywords: ハイパフォーマンスコンピューティング / クラスタ / 仮想メモリ / クラスタコンピューティング / 分散処理

Research Abstract

This research realized the fast and large virtual memory by using remote memory distributed over nodes in a cluster, which has a high-speed network such as 10GbE and Infiniband. It enables us to use a cluster as a huge memory resource for sequential and multi-threaded applications requiring a larger amount of memory beyond available local memory. It achieved more stable and much higher performance compared to the traditional page swap system incorporated in OS kernel using local hard disks.

Research Products

• [Journal Article] Automatic Adaptive Page-size Control for Remote Memory Paging (2012)
  • Author(s): H. Midorikawa, J. Uchiyama
  • Journal Title: Proc. of IEEE/ACM International Symp. on Cluster, Cloud and the Grid Computing CCGrid2012 Pages: 694-696
  • Peer Reviewed
• [Journal Article] マルチスレッドプログラムのための遠隔メモリ利用による仮想第容量メモリシステムの設計と初期評価 (2011)
  • Author(s): 鈴木悠一郎, 鷹見友博, 緑川博子
  • Journal Title: 情報処理学会,ハイパフォーマンス研究会,アーキテクチャ研究会 Volume: Vol.2011-HPC-132, No.13, Vol.2011-ARC-197, No.13 Pages: 1-6
• [Journal Article] 遠隔メモリアクセスのためのページスワップページサイズ動的変更機構の検討 (2011)
  • Author(s): 古尾谷歩, 緑川博子, 甲斐宗徳
  • Journal Title: 第10回情報科学技術フォーラムFIT論文集(第一分冊) Volume: B-050 Pages: 365-367
• [Journal Article] A C Compiler for Large Data Sequential Processing using Remote Memory (2011)
  • Author(s): S. Yoshimura, H. Midorikawa
  • Journal Title: Proc. of IEEE Pacific Rim Conference on Communications, Computers and Signal Processing Pages: 198-202
  • DOI: 10.1109/pacrim.2011.6032892
  • NAID: 120005614694
  • Peer Reviewed
• [Journal Article] 大容量データを扱うプログラムのための遠隔メモリ利用を容易にするCコンパイラ (2011)
  • Author(s): 吉村礎, 緑川博子
  • Journal Title: 成蹊大学理工学研究報告 Volume: 第48巻,第1号 Pages: 15-22
  • NAID: 120005614694
• [Journal Article] WAN接続クラスタ群をメモリ資源とする大容量メモリ提供システム (2011)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Journal Title: 成蹊大学理工学研究報告 Volume: 第48巻,第1号 Pages: 23-30
  • NAID: 120005614693
• [Journal Article] WAN接続クラスタをメモリ資源として利用するためのメモリサーバ自動選定システム (2011)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Journal Title: 情報処理学会第73回全国大会,論文集 Volume: 73-3
• [Journal Article] マルチスレッドプログラムのための遠隔メモリ利用による仮想第容量メモリシステムの設計と初期評価 (2011)
  • Author(s): 鈴木悠一郎, 鷹見友博, 緑川博子
  • Journal Title: 情報処理学会ハイパフォーマンス研究会 Volume: 2011-HPC-132 Pages: 1-6
• [Journal Article] MPIを利用した分散大容量メモリシステムにおけるページスワッププロトコルの評価 (2011)
  • Author(s): 古尾谷歩, 緑川博子, 甲斐宗徳
  • Journal Title: 情報科学技術フォーラムFIT2011,FIT論文集 Volume: B-049 Pages: 361-364
• [Journal Article] 遠隔メモリアクセスのためのページスワップページサイズ動的変更機構の検討 (2011)
  • Author(s): 内出丞, 緑川博子, 甲斐宗徳
  • Journal Title: 第10回情報科学技術フォーラムFIT論文集 Volume: B-050 Pages: 365-367
• [Journal Article] WAN接続クラスタをメモリ資源として利用するためのメモリサーバ自動選定システム (2011)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Journal Title: 情報処理学会第73回全国大会, 論文集 Volume: 73-3
• [Journal Article] ローカルメモリを越える大容量データを扱う逐次処理のためのCコンパイラ (2010)
  • Author(s): 吉村礎, 緑川博子, 甲斐宗徳
  • Journal Title: 情報科学技術フォーラムFIT2010, FIT論文集 Volume: B-026 Pages: 335-336
• [Journal Article] ユーザレベル実装遠隔メモリページングシステムにおけるページ置換アルゴリズムの評価 (2010)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: 情報処理学会、ハイパフォーマンス研究会 Volume: Vol.2010-HPC-125, No.9 Pages: 1-6
  • NAID: 110007995488
• [Journal Article] 分散大容量メモリDLMのWAN接続クラスタ群への適用-クラスタ・サーバ自動選定システムの提案- (2010)
  • Author(s): 鈴木悠一郎、緑川博子
  • Journal Title: SACSIS2010 Pages: 173-174
• [Journal Article] ユーザレベル実装遠隔メモリページングシステムにおけるページ置換アルゴリズムの評価 (2010)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: 情報処理学会ハイパフォーマンス研究会資料 Volume: Vol.2010-HPC-125, No.9 Pages: 1-6
  • NAID: 110007995488
• [Journal Article] WAN接続クラスタをメモリ資源として利用するためのメモリサーバ自動選定システム (2010)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Journal Title: 第8回先進的計算基盤システムシンポジウムSACSIS2010論文集 Volume: 2010 Pages: 173-174
  • Peer Reviewed
• [Journal Article] クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ (2009)
  • Author(s): 緑川博子、齋藤和広、佐藤三久、朴泰祐
  • Journal Title: 情報処理学会論文誌,コンピューティングシステム Volume: Vol.2, No.4 Pages: 15-36
  • NAID: 110007990265
  • Peer Reviewed
• [Journal Article] クラスタをメモリ資源として利用するための動的メモリ提供システムの提案 (2009)
  • Author(s): 三浦望, 緑川博子, 甲斐宗徳
  • Journal Title: 情報科学技術フォーラムFIT2009, FIT論文集 Volume: B-029 Pages: 421-422
• [Journal Article] Using a Cluster as a Memory Resource : A Fast and Large Virtual Memory on MPI (2009)
  • Author(s): H. Midorikawa, K. Saito, M. Sato, T. Boku
  • Journal Title: Proc. of IEEE cluster2009 Pages: 1-10
  • DOI: 10.1109/clustr.2009.5289180
  • Peer Reviewed
• [Journal Article] クラスタをメモリ資源として利用するためのMPIに基づいた高速大容量仮想メモリ (2009)
  • Author(s): 緑川博子, 斉藤和広, 佐藤三久, 朴泰祐
  • Journal Title: 電子情報通信学会CPSY研究会資料CPSY2009-15,信学技報 Volume: Vol.109, No.168 Pages: 37-42
  • NAID: 110007358830
• [Journal Article] Page Replacement Algorithm using Swap-in History for Remote Memory Paging (2009)
  • Author(s): K. Saito, H. Midorikawa, M. Kai
  • Journal Title: Proc. of IEEE Pacific Rim Conference on Communications, Computers and Signal Processing Pages: 533-538
  • DOI: 10.1109/pacrim.2009.5291315
  • NAID: 110007995394
  • Peer Reviewed
• [Journal Article] 遠隔メモリページングにおけるスワップイン履歴を用いたページ置換アルゴリズムの初期評価 (2009)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: 情報処理学会、ハイパフォーマンス研究会 Volume: Vol.2009-HPC-120, No.8 Pages: 1-6
  • NAID: 110007995394
• [Journal Article] 遠隔メモリページングにおける各ページ固有のスワップ履歴を利用するページ置換アルゴリズム (2009)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: SACSIS2009 Pages: 173-174
• [Journal Article] クラスタをメモリ資源として利用するためのMPIによる高速大容量メモリ (2009)
  • Author(s): 緑川博子, 齋藤和広, 佐藤三久, 朴泰祐
  • Journal Title: 情報処理学会論文誌, コンピューティングシステム Vol.2, No.4 Pages: 15-36
  • NAID: 110007990265
  • Peer Reviewed
• [Journal Article] Using a Cluster as a Memory Resource : A Fast and Large Virtual Memory on MPI (2009)
  • Author(s): 緑川博子, 齋藤和広, 佐藤三久, 朴泰祐
  • Journal Title: Proc.of IEEE Cluster Computing, (Cluster2009)Digital Object Identifier 10.1109/CLUSTR.2009.5289180 Pages: 1-10
  • Peer Reviewed
• [Journal Article] Page Replacement Algorithm using Swap-in History for Remote Memory Paging (2009)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: Proc.of IEEE Pacific Rim Conference on Communications, Computers and Signal Processing Pages: 533-538
  • NAID: 110007995394
  • Peer Reviewed
• [Journal Article] クラスタをメモリ資源として利用するための動的メモリ提供システムの提案 (2009)
  • Author(s): 三浦望, 緑川博子, 甲斐宗徳
  • Journal Title: 情報科学技術フォーラムFIT2009, FIT論文集 B-029 Pages: 421-422
• [Journal Article] クラスタをメモリ資源として利用するためのMPIに基づいた高速大容量仮想メモリ (2009)
  • Author(s): 緑川博子, 斉藤和広, 佐藤三久, 朴泰祐
  • Journal Title: 電子情報通信学会 信学技報 Vol.109, No.168 Pages: 37-42
  • NAID: 110007358830
• [Journal Article] 遠隔メモリページングにおけるスワップイン履歴を用いたページ置換アルゴリズムの初期評価 (2009)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: 情報処理学会、ハイパフォーマンス研究会 Vol.2009-HPC-120, No.8 Pages: 1-6
  • NAID: 110007995394
• [Journal Article] 遠隔メモリページングにおける各ページ固有のスワップ履歴を利用するページ置換アルゴリズム (2009)
  • Author(s): 齋藤和広, 緑川博子, 甲斐宗徳
  • Journal Title: 先進的計算基盤システムシンポジウム論文集, SACSIS2009 Pages: 173-174
  • Peer Reviewed
• [Presentation] 遠隔メモリアクセスのためのスワップページサイズ自動調整機構の初期評価 (2012)
  • Author(s): 内山丞, 緑川博子
  • Organizer: ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2012, HPCS2012論文集
  • Place of Presentation: 愛知県,名古屋大学
  • Year and Date: 2012-01-25
• [Presentation] 遠隔メモリアクセスのためのスワップページサイズ自動調整機構の初期評価 (2012)
  • Author(s): 内出丞, 緑川博子
  • Organizer: 情報処理学会/IEEEハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2012
  • Place of Presentation: 名古屋大学
  • Year and Date: 2012-01-24
• [Presentation] 遠隔メモリ利用で大容量データ処理を可能にする逐次プログラムためのCコンパイラ (2011)
  • Author(s): 吉村礎, 緑川博子
  • Organizer: ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011, HPCS2011論文集
  • Place of Presentation: 茨城県,産業技術総合研究所
  • Year and Date: 2011-01-18
• [Presentation] WAN接続クラスタをメモリ資源として利用するためのメモリサーバ自動選定システム-ウェブインターフェースによるユーザビリティの向上- (2011)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Organizer: ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011, HPCS2011論文集
  • Place of Presentation: 茨城県,産業技術総合研究所
  • Year and Date: 2011-01-18
• [Presentation] 遠隔メモリ利用で大容量データ処理を可能にする逐次プログラムためののCコンパイラ (2011)
  • Author(s): 吉村礎, 緑川博子
  • Organizer: ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011論文集
  • Place of Presentation: 茨城県つくば市 産総研
  • Year and Date: 2011-01-18
• [Presentation] WAN接続クラスタをメモリ資源として利用するためのメモリサーバ自動選定システム-ウェブインターフェースによるユーザビリティの向上- (2011)
  • Author(s): 鈴木悠一郎, 緑川博子
  • Organizer: ハイパフォーマンスコンピューティングと計算科学シンポジウムHPCS2011論文集
  • Place of Presentation: 茨城県つくば市 産総研
  • Year and Date: 2011-01-18
• [Remarks]
• [Remarks]
  • URL: http://xserv0.ci.seikei.ac.jp/~midori/paper/index.html
• [Remarks]
  • URL: http://www.ci.seikei.ac.jp/midori/paper/index.html
• [Remarks]
  • URL: http://www.ci.seikei.ac.jp/midori/paper/index.html