A system fault detection using bad smell system log

2023 Fiscal Year Final Research Report

• Project/Area Number: 19K20244
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 60050:Software-related
• Research Institution: Osaka Institute of Technology
• Principal Investigator: Obana Masaki 大阪工業大学, 情報科学部, 講師 (00710071)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: ソフトウェア / アプリケーションログ / 障害 / 異常動作検知 / 実績的

Outline of Final Research Achievements

We proposed a framework and methods to detect anomalies with application logs. Using unsupervised learning techniques, rare log patterns were detected in the proposed framework. In addition, the various clustering methods help detect the skeptical anomalies in the application log.
As a result of applying the open-source system in real running, the proposed methods can detect rare log patterns. We found that the detected rare log includes suspicious anomalies in the system running through various clustering techniques.

Free Research Field

ソフトウェア工学

Academic Significance and Societal Importance of the Research Achievements

昨今の情報システムの重要さは年々大きくなっており，システム障害が発生する事は社会に大きな影響を与えるため，社会への影響を最小限に収めるためにも早期に障害を検知することが重要である．一方で，昨今の情報システムはログデータが莫大な事や，様々なパッケージソフトウェア，クラウドサービスを利用されているためログのフォーマットの違いやあるためログの分析は容易ではない．そこで，アプリケーションごとにログの特徴を学習し，本手法から出力される特徴的なログデータだけを分析する事でログの分析を容易にし，社会に大きな影響を与える前に障害の対策を実施することができる．