Generative adversarial networks for unnatural human motion detection and generation

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K20310
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Tokyo Metropolitan Industrial Technology Research Institute
• Principal Investigator: Daisuke Miki 地方独立行政法人東京都立産業技術研究センター, 開発本部開発第三部情報技術グループ, 副主任研究員 (70757343)
• Project Period (FY): 2019-04-01 – 2021-03-31
• Keywords: 人物動作解析 / 異常検知 / 深層学習 / 敵対的生成ネットワーク

Outline of Final Research Achievements

A deep neural network (DNN) model and a training method for analyzing spatial-temporal human motion data are proposed in this study. We confirmed that the proposed method can detect anomalies in human motion data, and the DNN model trained using our multi-instance learning-based training method can detect ambiguously defined motions, such as unnatural human motions. The results indicate that it is possible to detect anomalies and identify human motion when dealing with large datasets that are difficult to annotate locally or when the data contains ambiguous motions, such as dangerous or unnatural motion. To improve the generalization performance of the anomaly detector in the case of a limited number of datasets, we establish a training data generation method using generative adversarial networks.

Free Research Field

情報工学

Academic Significance and Societal Importance of the Research Achievements

申請者らはこれまでに監視カメラ映像から人物の挙動や軌跡等の動作特徴量を取得するための画像処理技術の開発に従事してきた。監視カメラの設置台数は年々増加し、膨大な数の映像が蓄積されていることから、これらの映像に含まれる人物の動作特徴量から異常を検知する手法を確立できれば、映像監視の自動化が期待される。本研究では、人物動作特徴量のような多変量時系列データから異常を検出するための、DNNモデルおよびその学習手法の確立を行い、人物動作データからの異常検知を可能とした。さらに数に限りのあるデータセットを用いて異常検出器の汎化性能を改善するための、学習データの拡張手法を確立した。