超高速超高頻度データベースを用いた大規模金融データ分析

2011 Fiscal Year Research-status Report

• Project/Area Number: 23653081
• Research Institution: Nagasaki University
• Principal Investigator: 森保 洋 長崎大学, 経済学部, 教授 (10304924)
• Co-Investigator(Kenkyū-buntansha): 古川 哲也 九州大学, 経済学研究科(研究院), 教授 (00209165)
• Project Period (FY): 2011-04-28 – 2014-03-31
• Keywords: ファイナンス / マーケットマイクロストラクチャー

Research Abstract

大規模な超高頻度金融データを高速に処理するためには、まず、大規模なデータを効率よく圧縮して保存し、一般にデータアクセススピードが遅い補助記憶装置から主記憶装置に転送する時間を節約する必要があるため、超高頻度金融データに適したデータ圧縮手法の研究を中心に行った。　超高頻度データは、時系列な意味での直前のレコードと非常に類似した場合が多く、各気配値や、約定価格などのフィールドについて時系列方向にランレングス符号化を行うだけでも、フィールド毎の特性を考慮しない一般的なハフマン符号化によるデータ圧縮よりも効率が良くなり、データ保存に必要な容量が50％程度減少することが明らかになった。　データ圧縮効率の向上はデータ検索速度の向上に直結するため、今回の研究成果は超高速超高頻度データベースを構築に大きく貢献すると考えられる。　さらに、データベースのプロトタイプを構築し、プリミティブな性能評価を行った。ただし、現在のデータ圧縮・復元プログラムはスクリプト言語で記述されており、特にデータ復元に多くの時間が費やされるため、本研究の目的である超高速に大規模金融データを自由に検索する段階には至っていない。今後データ復元プログラムをJava等のプログラム言語で記述し直すことにより、さらに高速なデータベース構築を目指す必要がある。　また、実際のデータベース運用ではクラウド・コンピューティングの手法を利用する予定であるが、今回の研究目的に適したプラットフォームの比較検討も行っている。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初は平成23年度中に超高速超高頻度データベース構築を完了させるはずであったが、現在プロトタイプの段階にとどまっている。これは超高頻度データの配信規則に関する理解に予想以上に手間取り、効率的なデータ圧縮手法の構築が遅れているからである。

Strategy for Future Research Activity

早急に超高速超高頻度データベースを構築し、その応用段階に着手する予定である。同時にデータの可視化の方法について研究を進める。データベース利用による日中の取引におけるアノマリーを検出と、データの可視化手法を利用し、近年注目されているアルゴリズム取引によって生じていると予想される特徴的な取引パターン等の抽出を試みる。

Expenditure Plans for the Next FY Research Funding

超高速超高頻度データベース構築の遅延により、クラウド・コンピューティング用のプラットフォーム利用が遅れているため、その利用料が執行されていない状況にある。平成24年度にはデータベースを運用する予定であるため、そのプラットフォーム利用料として利用する。