2008 Fiscal Year Annual Research Report
生物情報解析ワークフローにおける再利用と大規模データ転送の効率化に関する研究
Project/Area Number |
08J00950
|
Research Institution | Osaka University |
Principal Investigator |
瀬尾 淳哉 Osaka University, 大学院・情報科学研究科, 特別研究員(DC2)
|
Keywords | ワークフロー / 生物情報解析 / Webサービス / 第三者転送 / 大規模データ |
Research Abstract |
本年度においては,生物情報解析の分野における大規模なデータを効率的に転送する仕組みを提案・開発し,その効果の検証を行った.当該分野における研究解析では,複数の解析ツールを用いることが多く,巨大なデータを扱う際に膨大な計算リソースを必要とする.特に近年広まってきているワークフローを用いた解析は,研究者がそれぞれの計算機で実行することが一般的である,その場合多量の計算リソースを準備することは難しい.そこで解析中に用いられる,もしくは生成されるデータを効率的に取扱うことにより,網羅的な研究解析を容易に行うことを可能とした.具体的な手法として,ワークフロー内に組み込まれたWebサービス間における,データの第三者転送を実現した.通常Webサービスが実行される場合,それぞれのサービスの結果は一度ワークフローエンジンとよばれる制御エンジンヘと戻される.そしてそのデータが,次に実行されるサービスヘと転送される.この中間データを制御エンジンヘ戻さず,次のサービスヘと直接転送することを第三者転送と呼ぶ.こうすることにより,制御エンジンが存在する研究者の計算機に対する負荷を大きく減らすことができる.制御エンジンが存在する計算機に対する負荷に関して,CPU使用率,メモリ使用率,ネットワーク使用率の点において従来よりも大幅な改善を達成した.これにより,大規模なデータを用いた網羅的な解析が,巨大なリソースを有する計算機を用いずに行うことが可能になったといえる.
|
Research Products
(1 results)