• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

A method for for generating normal model and discriminating anomalies by adversarial autoencoder using a small number of defective samples

Research Project

Project/Area Number 20K11884
Research InstitutionGifu University

Principal Investigator

加藤 邦人  岐阜大学, 工学部, 教授 (70283281)

Project Period (FY) 2020-04-01 – 2023-03-31
Keywords異常検知 / 敵対的自己符号化器 / 深層学習 / 外観検査 / セキュリティ
Outline of Annual Research Achievements

深層学習による異常検知で一般的な方法は、自己符号化器(AutoEncoder:以下AE)を用いる方法であるが、AEでは学習データに存在しないデータは、学習サンプルから得られた確率密度関数内に内挿する「汎化」が起こることがある。汎化が起こると未知の異常データは正しく異常と判定されるか、内挿され正常と判定されるか不確実となる。そこで、正常データに加え、少量の異常データを用いることで、潜在空間上での正常と異常の識別境界が明確に学習できることを解明することが本研究課題の目的である。
本研究では、敵対的自己符号化器(Adversarial Auto Encoder:以下AAE)を用いることで、特徴を低次元の確率密度関数に圧縮しつつ、標準正規分布に従う正常モデルを学習する。ここで、正常データと、少数の異常データを学習サンプルとし、正規分布をディスクリミネータの入力としたAAEにより学習された確率密度関数は正規分布に従い、かつ正常は平均近くに、異常は端となる分布を取ることとなる。
本年度は、正常特徴をより良く抽出するAAEのネットワーク構造、ならびに学習方法と、得られた確率密度関数の性質の解明を目的とした。まず、AAEによる正規分布特徴量抽出ニューラルネットワークの安定的な学習、ならびに精度向上の研究を行った。
AAEでは、ネットワーク構造と学習サンプルにより、学習の安定性と推定される確率密度関数が適切な正常モデルとならない問題があるため、これを回避するネットワーク構造の改良と、安定した学習方法の確立の研究を行った。結果、対象により値は異なるが、数%程度の異常サンプルを付加することで学習が安定し、性能も向上することが確認された。さらに、ニューラルネットワークモデルの構造を最適化し、適切な正規分布が抽出されるニューラルネットワーク構造を開発した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

本年度は、正常サンプルと少量の異常サンプルによりAAEを用いて正規分布に従う正常モデルを学習し、異常を正確に検出できるようなニューラルネットワーク構造や、学習法の研究を行った。
まず学習サンプルについての研究では、大量の異常サンプルに対して、どの程度の正常サンプルを加えることで、正常サンプルが効果的に識別境界を形成し、異常検知性能が向上するかについて各種実験を行った。結果、対象となる正常サンプルのばらつきがどの程度あるかや、異常サンプルをどれくらい付加するかで識別性能が大きく変わることを確認した。正常サンプルにあまりばらつきがない場合、その特徴を正規分布で表現することはあまり適しておらず、このような対象には本研究で扱うAAEは適していないことが実験より確認された。逆に、正常がある程度ばらつきを持っているものについては、AEより異常検知性能を大幅に向上できることが確認された。またこの場合、異常サンプルをどの程度入れるかによっても性能に変化が起こり、正常に対して数%程度が異常検知性能が高くなることを確認した。
ニューラルネットワークの構造についても各種実験を行った。AEの場合、ボトルネック特徴の次元数を少なくしすぎると再構成がうまく行えず性能が低下する。また逆に、ボトルネック特徴次元数を大きくしすぎると、正常特徴が適切に抽出されず、これも異常検知性能が低下する原因であることが知られている。AAEも、基本はこれと同じ性質を持つことが確認できたが、ディスクリミネータによりボトルネック特徴を多次元正規分布に従わせる構造から、AEよりもより小さな特徴次元数が学習が安定し、性能も向上することが確認できた。また、ボトルネック特徴の前後の全結合層のユニット数も性能に影響を及ぼすことが確認でき、これらパラメータをチューニングすることで、最良の性能が得られる知見を獲得した。

Strategy for Future Research Activity

今後は、他の異常検知手法との比較によるAAEによる正常モデルの性質解明の研究を行う。正常モデルのみから学習するAEベースのネットワークは正常モデルを獲得するが、学習に異常を含んでいないため、異常との識別境界は明確ではない。一方、AAEにより学習された正常モデルは少量の異常サンプルを用いることでこれらの問題を解決できると考えるが、少量の異常サンプルが実際に正常と異常の識別境界を形成できるかは、まだ確認できていない。今後は、抽出された正常モデルの性質、および正常、異常の識別境界の評価、ならびにモデルの改良や、従来手法との違いについての研究を行う。
また、実際の外観検査や異常検知のニーズ調査を行い、本手法の適用事例を検討する。実際の異常検知では、異常の見逃しは認められないため、正常を異常と判定する過検出が起きても見逃しができる限りゼロとするよう求められる。そこには誤検出と過検出のトレードオフが存在するので、異常検出精度を上げる学習方法の改良と、正常の過検出を抑えるしきい値の決定方法の研究を行う。また、実用化では高速な実行速度が求められるため、コンパクトなネットワーク設計など高速化の研究を行う。

  • Research Products

    (9 results)

All 2021 2020

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (3 results) (of which Invited: 1 results) Book (2 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Mutual Consistency-Ensured Bi-Directional GAN for Anomaly Detection2021

    • Author(s)
      AIZAWA Hiroaki、KOMOTO Kyosuke、KATO Kunihito
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 87 Pages: 61~70

    • DOI

      10.2493/jjspe.87.61

    • Peer Reviewed
  • [Journal Article] Visual Inspection Method by Learning Only Normal Data using Complementary GAN with Multi-scale Map2021

    • Author(s)
      NAKATSUKA Shunsuke、KATO Kunihito
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 87 Pages: 120~126

    • DOI

      10.2493/jjspe.87.120

    • Peer Reviewed
  • [Journal Article] Adversarial autoencoder for detecting anomalies in soldered joints on printed circuit boards2020

    • Author(s)
      Goto Keisuke、Kato Kunihito、Saito Takaho、Aizawa Hiroaki
    • Journal Title

      Journal of Electronic Imaging

      Volume: 29 Pages: 1~1

    • DOI

      10.1117/1.JEI.29.4.041013

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 深層学習を用いた外観検査・異常検知2021

    • Author(s)
      中塚俊介, 相澤宏旭, 加藤邦人, 後藤圭亮, 稲垣達也
    • Organizer
      精密工学会画像応用技術専門委員会第5回研究会
    • Invited
  • [Presentation] Mutual Consistency-Ensured Bi-directional GANによる異常検知2020

    • Author(s)
      相澤 宏旭,神本 恭佑, 加藤 邦人
    • Organizer
      第26回画像センシングシンポジウム SSII2020
  • [Presentation] 視線領域推定モジュールによる広視野画像からの異常検知2020

    • Author(s)
      後藤 圭亮, 相澤 宏旭, 加藤 邦人, 原田 佳周, 野口 稔, 西川 英雄, 鹿志村 和典, 濱谷 章史, 大平 司, 井原 巳知
    • Organizer
      ビジョン技術の実利用ワークショップ ViEW2020
  • [Book] 工場・製造プロセスへのIoT・AI導入と活用の仕方2020

    • Author(s)
      加藤邦人他
    • Total Pages
      605
    • Publisher
      技術情報協会
    • ISBN
      4861047919
  • [Book] データ分析の進め方 及びAI・機械学習導入指南2020

    • Author(s)
      加藤邦人他
    • Total Pages
      390
    • Publisher
      情報機構
    • ISBN
      978-4-86502-191-2
  • [Patent(Industrial Property Rights)] 異常検知システムおよび方法2020

    • Inventor(s)
      後藤圭亮, 相澤宏旭, 加藤邦人他
    • Industrial Property Rights Holder
      後藤圭亮, 相澤宏旭, 加藤邦人他
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2020-197113

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi