文書蓄積・検索等の非数値計算向け並列非同期入出力処理の高速化に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14750339
• Research Institution: National Institute of Informatics
• Principal Investigator: 日高 宗一郎 国立情報学研究所, 情報基盤研究系, 助手 (70321578)
• Keywords: 非数値計算処理 / 並列処理 / リモートDMA転送 / 同期 / バッチ処理システム

Research Abstract

本年度は、本研究テーマである高速化のための、アプリケーションとハードウェアに介在する各階層でどのような仕組みが必要となるかを明らかにするために、主な対象の一つであるSR8000について引続き調査分析を行った。先年度の、スレッド機構に関する調査と通信ライブラリの実装に引続き、MPIや通信ライブラリの実装に用いられているリモートDMA通信の階層、プロセッサ命令レベルでの同期プリミティブ等に対象を広げた。
共用の並列計算機ではノードのグループを構成してその単位での管理が行われており、それと入出力担当ノードとの関係が入出力性能に影響すると考え、入出力担当ノードの分布等の分析を行った。また、そのグループのトポロジはハードウェアの高速バリア同期機構の利用可能性に影響するため、トポロジについても簡単な可視化を実装した。
リモートDMA通信階層に関しては、通信関数について、入手可能なサンプルで判然としない利用方法を閉塞型、非閉塞型、通信確認の方法、そのOS介在非介在の別等様々な形態毎に分類し、最小呼出しパターンの抽出を行った。
併せて、共用計算機システムで不可避なバッチシステムについて考察し有効利用法について検討を行った。キューの空き情報とノードの空き情報を照合して最も実行されやすいキューにジョブを投入することで対話処理に近い処理が可能である。ノードの空き具合の問合せ自体バッチシステムへのコマンド投入が必要であるが、非排他的逐次処理用の短時間処理向けジョブは事実上殆んど即時投入が可能であるため、そのキューへのジョブ投入を介してこの問合せを行う。

Research Products

• [Publications] Katsumi Maruyama: "A component oriented OS for network service systems"Proceedings of the 5th Asia-Pacific Symposium on Information and Telecommunication Technologies. 551-556 (2003)
• [Publications] Soichiro Hidaka: "Redundant Communication Elimination Optimization in XQuery for Multimedia Contents Management Using Metadata in Distributed Digital Library Environments"5th DELOS Workshop on Multimedia Contents in Digital Libraries. (2003)
• [Publications] Soichiro Hidaka: "Multiserver OS for control systems : Its structure and intertask messaging efficiency"Electronics and Communications in Japan, Part 1 : Communications. 87・5. 20-28 (2004)