2021 Fiscal Year Research-status Report
A system fault detection using bad smell system log
| Project/Area Number |
19K20244
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
尾花 将輝 大阪工業大学, 情報科学部, 講師 (00710071)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | システムログ / アプリケーションログ / 障害検知 / システム運用 / Webアプリケーション / 自然言語 / クラスタリング |
|---|
| Outline of Annual Research Achievements |
2020年度の成果をもと不吉なログの可能性についての分析を行い，分析結果に基づいたフレームワークを提案した．また，これらに内容についての論文の投稿を行った．分析は過去に運用されたシステムを対象に行い，システムから出力されるシステムログ，およびアプリケーションログ等を対象に行った．分析方法としては正常に動作したログメッセージに比べ特徴のあるログメッセージには障害が含有されているかを2019年度および2020年度にて開発したログ分析ツールのプロトタイプを改良して行った，実際に運用したシステムログおよびアプリケーションログから正常動作した際のログメッセージ群と異常動作した際のログメッセージ群には明確な差があることがわかった．これにより，errorやfault等のログメッセージで出力されないアプリケーションやシステムログからでも障害の発生する可能性のある不吉なログを検出することができることがわかった．更に，これらのログメッセージを用いて障害原因を追究するためのフレームワークの提案も行い，これらの知見をまとめ，論文投稿を行った．
さらに，2019年度，2020年度で運用したアプリケーションに新たにコミュニケーションツールを追加し，新たなるログデータの追加を行った．これらのログデータをdoc2vec等の自然言語処理とクラスタリングを用いて特徴のあるログメッセージを自動的に判定し，開発者に掲示できるシステムの開発にも着手した．
開発に着手しているツールは従来errorやfault等のログメッセージに依存せずにログメッセージの特徴から障害原因と成りうるログメッセージを自動的に抽出するツールである．現状，特徴のあるログメッセージを抽出しているのみであり，これらのログに障害が含まれているかについては手動で判定する必要があるため，今後これらを自動的に検出するための手法が必要となる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
ログメッセージの特徴と障害の関係についての分析を行い不吉なログの可能性を示唆することができた．また，開発者に不吉なログを示唆するツールの開発も行った．しかし，障害が含まれている可能のあるログの掲示までは至っておらず，今後クラスタリングの精度向上や不吉なログを検出できるツールの開発を行う必要がある．
|
| Strategy for Future Research Activity |
本年度は提案する不吉なログの検証とツールの開発まで行ったが，開発したツールは分析に特化したものであり，ログメッセージから障害を自動で検出する機能に関しては不十分である．現状，自然言語処理とクラスタリングによる特徴のあるログメッセージの分別まで開発できているため，これらの結果から開発者に障害やエラーの原因となるログメッセージを自動で通知するシステムを作成する必要が今後必要である．
|
| Causes of Carryover |
2021年度の研究成果より，不吉なログの示唆することまでできたが，開発したツールに関する論文・学会投稿が遅れているため使用額が生じている．また，コロナ渦においての学会参加への自粛等の影響により使用額が生じた．
また，2022年度の使用計画として最終年度の成果報告用のノートPC（研究会発表）の調達，およびその出張費．また，４年間の研究データ保存用のコンピュータとHDDやSSDの購入を予定している．
|
