benchmark set to speed up extremely large scale data analysis applications

2019 Fiscal Year Annual Research Report

• Project/Area Number: 15K21423
• Research Institution: Meiji University
• Principal Investigator: 秋岡 明香 明治大学, 総合数理学部, 専任教授 (90333533)
• Project Period (FY): 2015-04-01 – 2020-03-31
• Keywords: 挙動解析

Outline of Annual Research Achievements

本研究では、データ解析手法のひとつであるストリーム解析に着目し、その挙動を解析・モデル化することで、ベンチマークセットを生成することを目指していた。しかし結論から述べると、その成果を達成することはできなかった。本研究を実施中に、ストリーム解析の挙動をモデル化するためには、入力データと解析プログラムの挙動をモデル化することが最重要であるという考えに至り、派生プロジェクトとして国際共同研究強化に申請したところ、採択された。国際共同研究強化では、応用数学者や数学者、機械学習を使用している航空工学者などの協力を得て議論を進めているが、予想以上に難しく、現在も入力データと解析プログラムの挙動をモデル化することはできていない。
本研究課題の目標はベンチマークセットの作成であることから、正確なモデル構築には至らないまでも、まずは大まかな傾向を示すデータとプログラムのセットをいくつか用意することも考えた。例えば、解析手法をひとつに固定し、その手法により比較的早期に収束するデータ、通常の計算オーダーで収束するデータ、計算が収束せずモデルが成熟しないデータの３種類をセットとし、いくつかの解析手法について同様のセットを提供することも検討した。しかし、これらがベンチマークセットとして有意であることを示すためには、ある程度のモデルによる裏付けが必要であるとの結論に達し、実現には至らなかった。
国際共同研究強化で得た知見も含め、体感としてデータと挙動の関係性の理解は進みつつある。データ分析者の経験値に基づく判断と同様の知見が得られたと考えれば、ドメイン知識を得ることができたとの考え方もできるが、研究成果としては著しく不十分であることから、引き続き、こうした知見を明確な形として、誰でも利用できる状態にして公表することを目指す。