Knowledge mining of large-scale network operational data for troubleshooting and predictive analysis

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K20262
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 60060:Information network-related
• Research Institution: National Institute of Informatics
• Principal Investigator: Kobayashi Satoru 国立情報学研究所, アーキテクチャ科学研究系, 特任研究員 (40824107)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Keywords: ネットワーク運用 / データマイニング / 因果推論 / 転移学習

Outline of Final Research Achievements

In this research, we proposed a new analysis approach for network operational data on the basis of causal inference, to help troubleshooting of large-scale networks. We proposed two analysis frameworks: "amulog", a general log analysis framework to estimate log templates and classify messages with them in online processing, and "logdag", a causal analysis framework designed for network operational data including logs and measured SNMP data. The proposed technology will help operators to extract contextual information in operational data automatically.

Free Research Field

情報ネットワーク

Academic Significance and Societal Importance of the Research Achievements

ネットワーク運用データに見られるシステムの振る舞いが、データからより直感的な関係性として示されあるいは視覚化することが可能となり、ネットワーク障害の実態を素早く把握し対処する上で大きな助けになると期待される。また特にログ解析に関する知見はネットワーク以外のシステム運用分野にも応用可能であり、データドリヴンなシステム運用自動化を助ける重要な技術として幅広く活用されることが期待される。