2019 Fiscal Year Research-status Report
トラブルシューティング・予測のための大規模ネットワークシステムログからの知識抽出
| Project/Area Number |
19K20262
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
小林 諭 国立情報学研究所, アーキテクチャ科学研究系, 特任研究員 (40824107)
|
|---|
| Project Period (FY) |
2019-04-01 – 2021-03-31
|
| Keywords | ネットワーク運用 / ログ解析 / 因果推論 / 異常検知 / 転移学習 |
|---|
| Outline of Annual Research Achievements |
大規模ネットワークログからの効率的な知識抽出技術の実現のため、令和元年度は主にネットワーク運用データの因果解析における入力の多様化・スケーラブル化を目標として取り組んだ。この目標は実現され、またその過程で以下の4つの研究成果をあげた。
1つ目は、教師データを他環境から転移可能な機械学習ベースのテンプレート生成技術の研究である。教師データを手で作成する必要のあった従来手法を拡張し、オープンソースルータのソースコードから作成したテンプレートを転移学習によって商用ルータのテンプレート推定に用いる技術を提案した。これにより単語推定精度を従来手法の73%から76%へと改善することに成功した。
2つ目は、ネットワーク障害の原因究明に因果解析を用いるため併用する異常検知技術の研究である。ログ時系列のCVAEによる潜在変数を用いた異常検知技術についてより詳細な評価を行い、3ヶ月分程度のログの学習で十分な精度を発揮できる点、時系列周期のずれなど既存手法では難しい異常の検出が可能な点などを明らかにした。
3つ目は、ネットワークの事前知識を用いた因果解析の効率化に関する研究である。PCアルゴリズムを用いた因果解析技術を拡張し、ネットワークのトポロジ情報およびイベントのプロトコルレイヤ情報を用いた枝刈りを可能とした。これにより、因果解析の処理時間を74%削減することに成功した。
4つ目は、ネットワーク監視データを併用した因果解析技術の研究である。SNMPにより収集されたネットワーク機器監視データを外れ値検知により2値化することで因果解析の入力として一意に利用可能とし、これをログ時系列と同時解析可能な技術を開発した。またこの多様化された因果解析入力データを効率的に扱う解析フレームワークを開発し、オープンソースで公開した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初今年度の目標としていたネットワーク運用データの因果解析における入力の多様化・スケーラブル化について、これを可能とする解析フレームワークの開発に成功した。また因果解析の入力データの多様化による計算量の増加について、因果解析の枝刈りによる効率化技術により処理時間増加の緩和に成功した。またこれらの因果解析に必要な前処理および併用する異常検知技術についても必要な精度での解析を可能とする成果が上がっている。このように、当初から想定されていた課題について解決に至った点について、順調な進展と言える。
一方で、従来の因果解析技術を拡張しSNMP監視データを併用した因果解析では障害の原因究明支援に必要な情報を十分提供できないことがわかった。この問題は用いた因果推論手法であるstable-PCアルゴリズムの性質に由来し、代わりにoriginal-PCアルゴリズムを用いることで(適合度を犠牲に)感度が改善され提供可能な情報を増やせることが判明している。現在これらのstable-PCおよびoriginal-PCの両者の問題点を改善した因果推論手法の研究を進めており、この課題は次年度の解決を目指している。なおこの問題は次年度に予定している因果知識ベースの構築に関わる研究を妨げるものではない。
|
| Strategy for Future Research Activity |
次年度における当初の目標である、因果知識ベースの構築による効率的かつ柔軟な原因究明支援技術の研究を軸に取り組む。この研究は局所的な因果関係から知識表現への変換、得られた知識の知識ベースへの蓄積、知識と新たなイベント (またはその因果関係) とのマッチング、の3つの課題を解決することで達成される。
また並行して【現在までの進捗状況】で述べた、stable-PCアルゴリズムを用いた因果解析における感度の問題を改善する因果推論技術の調査と検証を進める。これによりSNMP監視データを併用した因果解析技術の実用性を改善し、その成果を論文にまとめる。
|
| Causes of Carryover |
予定していた出張の旅費の一部を他予算からの支出へと変更、および購入する物品を変更したことで次年度使用額が生じた。次年度はこの持ち越し分を合わせた予算を、サーバ機器および消耗品の購入、出張旅費、リサーチアシスタントの雇用謝金、および学会参加費と論文校閲費に使用する。ただし新型コロナウィルスの拡大に伴う国際会議の中止・遠隔化などにより主に出張旅費分の使用計画が大きく変更される可能性がある。
|
| Remarks |
研究成果に関わるオープンソースプロジェクトのgithubでの公開ページ
|
Research Products
(5 results)
