2017 Fiscal Year Annual Research Report

環境変動にロバストなディープニューラルネットのための学習データ生成方法の研究

Research Project

Project/Area Number	17H06871
Research Institution	Wakayama University
Principal Investigator	八谷大岳和歌山大学, システム工学部, 講師 (00578908)
Project Period (FY)	2017-08-25 – 2019-03-31
Keywords	データ生成 / ディープニューラルネットワーク / 物体検出 / 距離推定 / 異常行動検知
Outline of Annual Research Achievements	近年、実用化が期待されるディープニューラルネットワーク（以下、DNN）は、実際の運用環境にて、学習時に想定していない状況が発生した場合、精度が十分に発揮できない問題がある。そこで、本研究は、DNNの学習に有用な、多様な学習データを生成するフレームワークを提案し、その有効性を実験を通して確認することを目的としている。本研究では、1年目の平成29年度に、比較的容易な静止画の認識を題材にデータ生成技術を活用してDeep Neural Network(以下、DNN）の認識精度を改善する基本フレームワークを構築する。そして、2年目の平成30年度に、基本フレームワークを動画認識へ適用するための、アルゴリズムの拡張を行う計画である。本計画に従い、平成29年度は、毎年11月に開催されている、つくばチャレンジの人物探索を題材に設定し、静止画像1枚から探索対象のBounding Box（以下、BB）と、カメラからの距離をリアルタイムに推定する独自のDNN、2.5D Faster R-CNN方式を提案した。そして、提案法を様々な状況に対応させるために、多様な周辺環境と、多様な距離および角度で撮影した探索対象の画像に対し、CG技術を活用し半自動的にアノテーションを付与する方法を提案した。具体的には、探索対象の物体のCGモデルを作成し、CGモデルを人手で画像上の探索対象の物体に重畳することにより、BBとカメラからの距離を自動的に計算し、アノテーションとして付与するというものである。本研究成果は、つくばチャレンジシンポジウム、計測自動制御学会システムインテグレーション部門講演会およびロボティクスシンポジアにて学会発表を行った。また、現在、国際会議IEEE SMC 2018(International Conference on Systems, Man, and Cybernetics)および国際論文誌ROBOMECH Journalに、論文を投稿中である。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の計画通り、つくばチャレンジの人物探索を題材に、独自の物体検出・距離推定方法の提案、CG技術を用いた多様な学習データの生成方法の提案、および、つくばチャレンジの実験を通したそれらの有効性の確認を進めることができた。しかし、当初の計画では、学習データ生成モデルと、DNNモデルとを相互作用させることにより、学習に用いるデータを選択的に生成するフレームワークの提案を予定していたが、研究実績に記載の論文にて報告した内容には、この相互作用させる機能を盛り込んでいない。その理由としては、この機能は、DNNの誤差に基づき、学習データの生成分布を更新し、DNNが苦手なデータを、学習データとして積極的に生成することを目的としていたが、苦手なデータにDNNが過学習することにより、全体のデータに対する精度が悪化するという想定外の結果が得られたためである。そのため、つくばチャレンジを題材にした検討においては、多様な状況で撮影した学習データに対しCG技術を用いて半自動的に距離のアノテーションをするアプローチに切り替えて、研究を進めた。
Strategy for Future Research Activity	今年度（平成30年）は、昨年度における、静止画の認識を題材に検討した、CG技術を用いた半自動データ生成技術および論文発表に至らなかった相互作用機能の検討の内容を踏まえ、当初の計画通り、よりデータ生成が重要となる動画認識を題材に、機械学習技術とデータ生成技術とを融合するアプローチを検討する。具体的には、監視カメラの映像からの異常行動検知では、正常時の行動モデルを学習し、当該モデルから乖離する行動を異常として検出する。しかしながら、正常行動の学習データが十分に多くない場合、正常を異常と頻繁に誤報する問題が起こる。そこで、本研究では、正常行動の学習データを再現するデータ生成モデルを学習し、学習データ間を内挿および外挿するデータを生成することにより、正常モデルの汎化性能を向上することを検討する。したがって、昨年度、論文発表に至らなかった相互作用の機能は、この汎化性能を向上することを目的に再度検討を行い、論文発表可能なレベルの成果を出すことを目標に進める。
Remarks	本研究にて開発したソフトウェアを、関連する研究者および技術者と共有するために、github上で公開。