科学データ処理クラスタにおける投機並列メモリアクセス機構の研究

• Project/Area Number: 17700052
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Computer system/Network
• Research Institution: The University of Tokyo
• Principal Investigator: 玉造 潤史 東京大学, 大学院理学系研究科, 講師 (90322049)
• Project Period (FY): 2005 – 2006
• Project Status: Completed (Fiscal Year 2006)
• Budget Amount: ¥3,600,000 (Direct Cost: ¥3,600,000); Fiscal Year 2006: ¥1,700,000 (Direct Cost: ¥1,700,000); Fiscal Year 2005: ¥1,900,000 (Direct Cost: ¥1,900,000)
• Keywords: メモリ間通信 / TCP / IP / クラスタ間通信 / 投機実行 / 科学データ転送クラスタ

Research Abstract

科学データ転送クラスタでの、アプリケーションの並列実行用のソフトウエアメモリシステムの設計と実装したメモリモジュール間での高遅延ネットワークにおけるデータ転送を行った。科学データ転送クラスタではデータ転送用に10Gigabit Ethernetなどの高速なネットワークインタフェースを持っているため、その帯域を最大限に活用する投機的なメモリアクセスによって、並列スレッドのメモリへのアクセスを高速化する。
また、科学データ転送クラスタ実現に向けたデータ転送の基盤となるTCP/IPの高速化を行った。科学データは世界の研究拠点間で交換されるため、科学データクラスタ非常に大きな遅延をもつ広帯域のネットワーク(Long Fat Network)によって接続される。そのインターフェースが近距離のクラスタ内通信と遠距離での拠点間通信を実現する必要があり平成17年度はこの拠点間通信の高速化を行った。
東京-シアトル-アムステルダム-シカゴ-東京を結ぶ30000kmのネットワークにおいて、IPv6で7Gbpsを超える速度でのTCP/IP通信を実現することができた。
平成18年度は同様の高遅延ネットワーク環境においてIPv4/TCPで9Gbpsを超える性能を実現し、平成18年末にはIPv6/TCPにおいても9Gbpsを超える性能を得ることができた。しかしこれらの性能は(1)ハードウエアによる通信能力の支援がある(2)OSのカーネル内コピーがないという制約があり、これらは今後さらに高速化するハードウエア性能に因らなければ10Gbps性能を持つメモリ間転送は難しいことが分かった。科学データ転送クラスタ内でのメモリ間の通信速度は約7Gbps程度(500ms遅延において)であり、投機的並列メモリアクセスによってこの高度な遅延隠ぺいを行ったとしてもこの性能上限を現時点では越えられないが、この性能でメモリメモリ間のデータ同期は実現できることがわかった。

Research Products

• [Journal Article] 長距離広帯域ネットワークでのTCP/IP Acknowleage Packet受信の影響について (2007)
  • Author(s): 玉造潤史 他
  • Journal Title: 電子情報通信学会信学技報 vol.106,no.465 Pages: 15-20
• [Journal Article] Real Long Fat NetworkにおけるTCP/IPv6の通信性能評価 (2006)
  • Author(s): 玉造潤史 他
  • Journal Title: 電子情報通信学会信学技報 vo1.106,no.62 Pages: 19-24
  • NAID: 110004741034
• [Journal Article] ハードウェア・エンジンを用いた10GbE上のTCP通信解析 (2006)
  • Author(s): 吉野剛史, 玉造潤史 他
  • Journal Title: 情報処理学会 ハイパフォーマンスコンピューティング研究会報告 2006-HPC-107 Pages: 305-310
  • NAID: 110004821251
• [Journal Article] 10ギガビットネットワーク上での高効率TCP/IP通信の実現 (2006)
  • Author(s): 玉造潤史 他
  • Journal Title: 情報処理学会 ハイパフォーマンスコンピューティング研究会報告 2006-HPC-107 Pages: 299-304
  • NAID: 110004821250
• [Journal Article] 擬似ネットワーク環境におけるTCP/IPの性能評価 (2005)
  • Author(s): 中村誠, 玉造潤史他
  • Journal Title: 電子情報通信学会技術研究報告 IA2005-7 Pages: 1-8
  • NAID: 110003224485
• [Journal Article] Experimental Results of TCP/IP data transfer On 10Gbps IPv6 Network (2005)
  • Author(s): Junji Tamatsukuri et al.
  • Journal Title: PFLDnet 2006 http://www.hpcc.jp/pfdlnet2006/paper/s5_01.pdf