2020 Fiscal Year Research-status Report
A method for for generating normal model and discriminating anomalies by adversarial autoencoder using a small number of defective samples
| Project/Area Number |
20K11884
|
|---|
| Research Institution | Gifu University |
|---|
Principal Investigator |
加藤 邦人 岐阜大学, 工学部, 教授 (70283281)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 異常検知 / 敵対的自己符号化器 / 深層学習 / 外観検査 / セキュリティ |
|---|
| Outline of Annual Research Achievements |
深層学習による異常検知で一般的な方法は、自己符号化器（AutoEncoder：以下AE）を用いる方法であるが、AEでは学習データに存在しないデータは、学習サンプルから得られた確率密度関数内に内挿する「汎化」が起こることがある。汎化が起こると未知の異常データは正しく異常と判定されるか、内挿され正常と判定されるか不確実となる。そこで、正常データに加え、少量の異常データを用いることで、潜在空間上での正常と異常の識別境界が明確に学習できることを解明することが本研究課題の目的である。
本研究では、敵対的自己符号化器(Adversarial Auto Encoder：以下AAE）を用いることで、特徴を低次元の確率密度関数に圧縮しつつ、標準正規分布に従う正常モデルを学習する。ここで、正常データと、少数の異常データを学習サンプルとし、正規分布をディスクリミネータの入力としたAAEにより学習された確率密度関数は正規分布に従い、かつ正常は平均近くに、異常は端となる分布を取ることとなる。
本年度は、正常特徴をより良く抽出するAAEのネットワーク構造、ならびに学習方法と、得られた確率密度関数の性質の解明を目的とした。まず、AAEによる正規分布特徴量抽出ニューラルネットワークの安定的な学習、ならびに精度向上の研究を行った。
AAEでは、ネットワーク構造と学習サンプルにより、学習の安定性と推定される確率密度関数が適切な正常モデルとならない問題があるため、これを回避するネットワーク構造の改良と、安定した学習方法の確立の研究を行った。結果、対象により値は異なるが、数%程度の異常サンプルを付加することで学習が安定し、性能も向上することが確認された。さらに、ニューラルネットワークモデルの構造を最適化し、適切な正規分布が抽出されるニューラルネットワーク構造を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は、正常サンプルと少量の異常サンプルによりAAEを用いて正規分布に従う正常モデルを学習し、異常を正確に検出できるようなニューラルネットワーク構造や、学習法の研究を行った。
まず学習サンプルについての研究では、大量の異常サンプルに対して、どの程度の正常サンプルを加えることで、正常サンプルが効果的に識別境界を形成し、異常検知性能が向上するかについて各種実験を行った。結果、対象となる正常サンプルのばらつきがどの程度あるかや、異常サンプルをどれくらい付加するかで識別性能が大きく変わることを確認した。正常サンプルにあまりばらつきがない場合、その特徴を正規分布で表現することはあまり適しておらず、このような対象には本研究で扱うAAEは適していないことが実験より確認された。逆に、正常がある程度ばらつきを持っているものについては、AEより異常検知性能を大幅に向上できることが確認された。またこの場合、異常サンプルをどの程度入れるかによっても性能に変化が起こり、正常に対して数%程度が異常検知性能が高くなることを確認した。
ニューラルネットワークの構造についても各種実験を行った。AEの場合、ボトルネック特徴の次元数を少なくしすぎると再構成がうまく行えず性能が低下する。また逆に、ボトルネック特徴次元数を大きくしすぎると、正常特徴が適切に抽出されず、これも異常検知性能が低下する原因であることが知られている。AAEも、基本はこれと同じ性質を持つことが確認できたが、ディスクリミネータによりボトルネック特徴を多次元正規分布に従わせる構造から、AEよりもより小さな特徴次元数が学習が安定し、性能も向上することが確認できた。また、ボトルネック特徴の前後の全結合層のユニット数も性能に影響を及ぼすことが確認でき、これらパラメータをチューニングすることで、最良の性能が得られる知見を獲得した。
|
| Strategy for Future Research Activity |
今後は、他の異常検知手法との比較によるAAEによる正常モデルの性質解明の研究を行う。正常モデルのみから学習するAEベースのネットワークは正常モデルを獲得するが、学習に異常を含んでいないため、異常との識別境界は明確ではない。一方、AAEにより学習された正常モデルは少量の異常サンプルを用いることでこれらの問題を解決できると考えるが、少量の異常サンプルが実際に正常と異常の識別境界を形成できるかは、まだ確認できていない。今後は、抽出された正常モデルの性質、および正常、異常の識別境界の評価、ならびにモデルの改良や、従来手法との違いについての研究を行う。
また、実際の外観検査や異常検知のニーズ調査を行い、本手法の適用事例を検討する。実際の異常検知では、異常の見逃しは認められないため、正常を異常と判定する過検出が起きても見逃しができる限りゼロとするよう求められる。そこには誤検出と過検出のトレードオフが存在するので、異常検出精度を上げる学習方法の改良と、正常の過検出を抑えるしきい値の決定方法の研究を行う。また、実用化では高速な実行速度が求められるため、コンパクトなネットワーク設計など高速化の研究を行う。
|
