2020 Fiscal Year Annual Research Report

犯罪発生を直前に予知する犯行予測型超次世代知的防犯カメラシステム

Research Project

Project/Area Number	20H02400
Research Institution	University of the Ryukyus
Principal Investigator	長山格琉球大学, 工学部, 准教授 (80274885)
Project Period (FY)	2020-04-01 – 2024-03-31
Keywords	防犯カメラ / 深層学習 / 機械学習 / 画像処理 / 映像処理 / モーション解析 / ひったくり
Outline of Annual Research Achievements	本研究では，ひったくり等の街頭犯罪の発生をその発生直前に予測検知する超次世代型知的防犯カメラの研究開発を行う．一般に，ほとんどのひったくり事件の場合において犯人はバイク、徒歩、自転車、自動車などを使用して被害者の背後から接近し、油断している被害者の不意を突いて鞄・バッグ等の所有物を奪取して逃走するという犯行形態を示す。このとき、もし、防犯カメラ映像における直近の挙動に基づいて犯行の発生をAI・機械学習技術で予知・予測し、犯行発生直前に大音量警報アラームを発することにより、被害者が鞄・バッグ等を守る＆防御する等の対応をとっさに取れば、鞄・バッグ等を奪取され難い状況を作りだすとともに、大音量警報アラームによる威嚇効果を犯人に与え、結果的に犯行を防ぐことにつながると期待される。そのため，令和2年度は研究基盤の構築と基礎実験データの整備を行った．すなわち，機械学習・深層学習を実行する高速計算サーバの機材購入とシステム導入および開発環境の構築を行った．高速演算処理のためのGPGPUボード2枚を組み込み，同時連携して拡張メモリを使用できるようSLIシステムを構築するとともに，所定の性能を発揮できることをテスト・検証した．また，モーション予測のための予備実験として平均台を製作するとともに，その上を渡河する人物の動きを撮影・測定してモーション映像群を収集し，基本的な実験用データベースを構築した．これら実験用データベースの映像を対象にして骨格位置・骨格形状の検出と追跡を行うための映像解析アルゴリズムを検討した．さらに，一部の実験や機材調達がコロナ禍で実施できなかったことから，経費の一部を翌年度に繰越すととともに，翌年度において高速FPGAシステムの一部を購入して開発環境の構築と整備を行った．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究に必須かつ重要な研究基盤の整備と構築に努めたため，主たる環境整備は順調に実施できた．一部の機材購入や実験の実施計画において，コロナ禍に伴う影響で実行が困難となったが，最も重要な計算サーバや学習サーバーなどの主要開発環境および機器の整備は行えた．また，それらが所定の性能を実現できることも予備実験を通して確認できた．
Strategy for Future Research Activity	実験データにおける人体の輪郭線と骨格特徴点群から、予測に最適な特徴点群を選択的に抽出して予測能力向上を図る。また、その犯行の瞬間前後の映像中の時系列変化を人体の3次元物理モデルに合致するよう拘束条件を設けて追跡することによって詳細動作分析を行い、人物挙動の高精度予測と犯行の有無予測にそれぞれ用いる。もし、予測誤差が生じた場合、超解像処理により詳細に動きを再計測し人体物理モデルへ反映する。これら膨大な時系列特徴点データ群を対象に、改良型深層学習ネットワーク(MDNN)を用いて高速GPUマシンで学習を行い、映像に対する実行処理をFPGAで実行することにより数百ミリ秒先の骨格（輪郭）特徴点位置および犯行の有無を予測する。これらの目的を達成するため、本システムの各処理プロセスについて高速かつ効率的なアルゴリズムの開発、およびFPGAやGPU等による高速処理を図る必要がある。特に、数百秒予測を行うための深層学習・機械学習による学習モデルを構築し、学習済みの実行モデルをGPU/FPGAに組込んで高速実行する