2008 Fiscal Year Annual Research Report

次世代PCクラスタを活用する超大規模仮想メモリ空間支援システムの研究

Research Project

Project/Area Number	18300006
Research Institution	The University of Tokyo
Principal Investigator	石川裕 The University of Tokyo, 大学院・情報理工学系研究科, 教授 (70345122)
Keywords	リモートスワップ / PCクラスタ / 大規模メモリ / 分散ページ
Research Abstract	64bitアドレス空間を有するPCにおいて、高性能ネットワークでつながれたPCのメモリ領域をスワップ領域として利用可能とする遠隔スワップシステムTeramemを設計しLinuxに実装、評価した。従来の遠隔メモリスワップシステムで問題となっていた効率性、可搬性を解決するために、Teramemは、以下の特徴を有する高性能高可搬なシステムとして実現した。 i)OSカーネルで実現することによりカーネルでしかアクセスできないページテーブルのメモリアクセス情報を用いて、LILO、FIFOなどのメモリ置換アルゴリズムを効率的に実現した。 ii)ページサイズ(Linuxは4KB)程度のデータ長で通信するとネットワーク性能を引き出すことができないため、ページをまとめて通信することにより、ネットワーク転送性能を向上させた。 iii)Linuxカーネルを修正せず、カーネルロードモジュールとしてTeramemを実装した。これにより、Linux利用者は、Linuxカーネルを入れ替えることなく、Teramemを利用したいときに、Teramemモジュールを追加するだけで、利用できるようにした。 iv)特別なネットワークハードウェアではなく、普及しているEthernetや高性能PCクラスタで使用されているInfinibandやMyrinetなどの複数ネットワークに対応した。 Teramemの有効性を示すために、スワップ領域をディスクとした場合と比較した。Teramemは、連続アクセスでディスクの約10.2倍、GNUsortを用いたベンチマークでは、40倍以上の性能を達成した。また、カーネルレベル実装によってページテーブルの情報を利用した効率的なブロック置換ができること、ユーザプログラムから観測すると、約1.2ms(ブロックサイズ1MBの場合)という短い待ち時間でスワップインが行なえることなどをベンチマークプログラムで確認した。Teramemにより、数十ギガ程度の物理メモリしか搭載していないPCにおいても、他のPCのメモリ領域を利用することにより、テラバイト以上の仮想メモリ領域を効率よく利用できるようになった。本システムはオープンソースとして公開されている。