最終年度である本年度は研究期間全体で実施した内容を統合したログ分析ツールの開発とツールを用いた既存手法との比較を含めた総合的な評価を行った.開発したツールはアプリケーション等から出力されるログファイルを入力とし,分析やログレビューの支援を目的としている.ツールは過去の研究成果を実装したものであり.出力される結果としては,そのアプリケーションログの中で稀に出力されるログメッセージのみが出力される.本ツールから出力されるログメッセージをレビューすることで,エラーログに出力されない隠された障害を早期に発見する可能性がある.
また,過去に論文投稿による査読者の指摘事項では「クラスタリングを行わなくても出現頻度の高いログメッセージの除去だけで良いと思われる」との指摘があった.そのため,本ツールでは出現頻度の高いログメッセージのみ検出のみの結果も出力することで,手法の妥当性を比較できるツールとした.
本ツールと従来の深層学習を用いたログの異常動作検知手法との比較を行った.比較する手法としてはAutoencoder,LSTM,Transformerであり,データセットとしては過去に収集したログデータを用いて,異常動作の検知が行えるかの検証を行った.検証方法としてGitHub等のホスティングサービスで管理されているバグ情報と関連のあるログメッセージが検出できるかについて行った.結果,既存手法よりも開発したツールの方が検出精度が高い結果となり,これらの内容をまとめ,学会で発表を行った.
|