2019 Fiscal Year Research-status Report
データセンターネットワークにおけるスループット急落の回避に関する研究
| Project/Area Number |
19K11926
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
横平 徳美 岡山大学, ヘルスシステム統合科学研究科, 教授 (50220562)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
福島 行信 岡山大学, 自然科学研究科, 准教授 (00432625)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 情報ネットワーク / データセンターネットワーク / インキャスト |
|---|
| Outline of Annual Research Achievements |
分散ファイルシステムを採用している最近のデータセンターのネットワークにおいては、多数のサーバが、ほぼ同時に(並列に)、1台のコンピュータ(クライアント)に向けてデータを送信しようとすることがしばしば起こる。このとき、イーサネットスイッチのポートにおいてバッファーオーバーフローが起こり、スループットが０に近い値に急落するという最悪の状況(インキャスト)が起こってしまうことがある。本研究の目的は、分散ファイルシステムにおいて、各サーバのデータ送信終了時間の公平性を気にする必要はなく、全サーバがデータ送信を終了するための時間が重要であることに着目して、サーバからのデータ送信を直列化することにより、インキャストを回避しつつスループットを最大にする方法を考案し、実際に実験ネットワークでその有効性を実証することである。
2019年度は、データセンターネットワークにおける各リンクの伝送速度、イーサネットスイッチのポートバッファサイズ、サーバから送信されるデータ量(ユニットサイズ)等が与えられた時、インキャストを回避し、かつ、スループットを最大化できる同時設定(同時に並列化できる)コネクション数を求めることができるように、従来筆者らが提案しているコネクション直列化法を拡張した方法(拡張コネクション直列化法)を考案した。
また、高精度のカーネルタイマーを使用して、最小タイムアウト値を従来の200ミリ秒から数100マイクロ秒にすることにより、インキャストを回避しようとする従来の方法において、クライアントからサーバに再送要求を出すことで、インキャスト回避の可能性を高くできる方法を提案した。
さらに、上述した方法を統合して、実際のデータセンターネット上で動作できるようにするための基礎的検討を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の研究計画は以下の通りであった。
(1) 各リンクの伝送速度、ポートバッファサイズ、ユニットサイズが与えられた時、インキャトを回避し、かつ、スループットを最大化できる同時設定コネクション数を求めることができるように、従来のコネクション直列化法を拡張する。(2) (1)の拡張法をシミュレートできるように、従来のコネクション直列化法のためのシミュレータを拡張する。そして、これを使って、本研究の拡張法の有効性を検証する。(3) UNIXにおける従来のTCP実装を変更して、拡張コネクション直列化法をPCに実装したのち、数十台のPCからなる実験ネットワークを構築する。(4) (3)の実験ネットワーク上に、分散処理フレームワークであるHadoopとSparkを実装し、種々の実験を繰り返すことにより、実際のネットワークにおける拡張コネクション直列化法の有効性を確認する。
2019年度は、(1)が完了した。また、(3)と(4)の一部を先行的に行った。特に、(3)と(4)を行うために、情報通信研究機構(NICT)と共同研究契約を結ぶことにより、NICTがサービス提供している大規模エミュレーション環境StarBEDを利用できるように、環境構築を行った。
以上より、「当初の計画以上に進展している」と判断した。
|
| Strategy for Future Research Activity |
従来のコネクション直列化法のシミュレータは完成しており、今後は、これを拡張して、拡張コネクション直列化法のシミュレータを構築する予定である。このシミュレータは他研究者の従来のインキャスト回避法も動作させることができるので、本研究の方法との性能比較も行う。また、現在、1台のイーサネットスイッチと15台のPCからなる実験ネットワークを既に構築し、その上で分散処理フレームワークHadoopとSparkが既に稼働しているが、この経験を活かして、StarBED上にHadoopとSparkを実装する予定ある。その後、拡張コネクション直列化法を実装して、その有効性を実験的に確認する予定である。
|
