2018 Fiscal Year Research-status Report
派生システム開発の品質変化を予測する複雑ネットワーク指標に基づくメトリクスの開発
| Project/Area Number |
17KT0122
|
|---|
| Research Institution | Yokohama National University |
|---|
Principal Investigator |
濱上 知樹 横浜国立大学, 大学院工学研究院, 教授 (30334204)
|
|---|
| Project Period (FY) |
2017-07-18 – 2020-03-31
|
| Keywords | 知能システム / ソフトウェア / ネットワーク指標 / メトリクス / 予測 |
|---|
| Outline of Annual Research Achievements |
研究当初に計画をしていた3つの柱，(1)人工システムの複雑ネットワーク一般表現法（General Network Structure Representation） (2) 2.GNSRからの複雑ネットワーク指標（GNSR index）の分析法 (3) 将来の品質・システムの寿命を予見する機械学習技術のうち，H30年度では，(3) について集中的な検討を進めた。他の様々な用途で応用な可能な多次元時系列データからの異常予兆・異常予見の手法を確立して，これをソフトウェアの品質予測に用いることをねらう。そのために，汎用的な抽象モデルでの理論と，いくつかの具象化された用途に適用し，ソフトウェアの派生開発との共通事項を整理した。時に，ソフトウェア開発のバックログ固有の問題に対して有効なアプローチを検討した。
まず，汎用的な多次元時系列変化データの一般的な予測問題として，LSTMを用いた多次元時系列データからの事象予測アルゴリズムの開発を行った。バグ予測問題では従来自己回帰ベースの手法が多く用いられる．しかし，これらの手法は事象と強い相関をもつデータが必要不可欠であり，ソフトウェアの開発事例のように多くのデータ取得が困難場合には向いていない。そこで，LSTMとアンサンブル学習を組み合わせ，過学習を抑える方法を明らかにした。
次に，ソフトウェア開発のバックログでは，明示的な修正目的が示されない場合があることを踏まえ，明示的なラベル付与を必要としない手法を検討した。データが少なく長期予測にも有効とされる逆強化学習で，一定時間内に起きるイベント（バグ）予測した．逆強化学習モデルには敵対的逆強化学習を用いたが，適用対象の性質上学習・予測が行えない問題がある．そこで，VAEによる次元圧縮と正規分布化，イベント予測報酬を加えこれを可能とする方法を明らかにし，その有効性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ソフトウェアネットワーク指標（GNSR）と，ソフトウェア固有の時間変化に対応した学習法が明らかになったことで，研究全体の枠が出来上がった。特に汎用的な多次元時系列特徴量からの予測学習が可能になったことで，従来，感覚的にしか判断できていなかった予兆に対して，GNSRから得られる様々なネットワーク指標の時系列変化を用いて定量的な評価が可能になったメリットは大きい。
また，逆強化学習の応用も有効であることが明らかとなった。これはソフトウェア開発の熟練者（エキスパート）がどのような特徴に対して行動のトリガをかけるかを学習するという新しいアイデアである。実際に起きた不具合だけでなく，それを未然に防ぐ行動からもソフトウェアの品質を評価するというアイデアは，当初予定には含まれていなかったが，さらに検討が必要な技術である。
一方，GNSR indexは多次元となるため，現段階ではデータの量と比べて過学習になる恐れがある。この問題に対しては，H30年度の検討にて一部解決が見込める状態となったが，十分な時間変化情報が必要となる。近年のソフトウェア開発のバックログは比較的整理されているものの，派生開発が行われるレガシーシステムについては十分な学習ができるかどうかは不明である。これらの理由から，異なるソフトウェア開発の記録から当該ソフトウェアの性質に合わせるための転移学習を含めることが必要となるが，この点については未着手である。
以上のような実績・考察から，２年目に予定されていた内容は予定の成果に至っている部分がある一方で，新たに生じた課題に対しての検討が必要になたことから，全体として概ね順調に推移しているといえる。
|
| Strategy for Future Research Activity |
GNSRindexを用いた予測問題の評価を最終目標とする。そのために以下のことに着手する。
(1) GNSRindex と LSTM+アンサンブル学習を用いた予測評価
(2) GNSRindex と 逆許可を用いた予測評価
(3) (1), (2) に関する転移学習の可能性模索
(1),(2)の基礎技術はできているものの，GNSRindexの時間変化を含めて回帰学習させた場合の性能をバリデーションチェックが課題となる。ここでは，抽象問題としての評価と，別件で開発を進めているシステム（機器異常診断，医療バイタルデータ監視システム）を題材としてた評価を試みる。
また，定量評価のみならずそれを説明可能とするための可視化表現についても検討を進める。当初予定では新たなメトリクスの提案どまりであったが，近年の知能システムでは説明可能性が必須となっており，本研究についても予想される結果の説明を可視化表現によって示すことが望まれている。具体的には，ネットワークの複雑性に対するグラフ表現やソフトウェア発展の経緯をインタラクティブに確認できるツールと合わせて評価・予測を支援するアプリケーションの開発を検討する。
|
| Causes of Carryover |
当初，データクレンジング作業と計算機環境の充実を並行して進める予定であったが，ターゲットの計算機モデルの大幅な変更が2020に予定されており，2019年度は現行の最終モデルであることから，導入を数か月～半年遅らせ，クレンジングを優先することにした。これによる全体計画の遅延は生じない。
|
