2021 Fiscal Year Annual Research Report
Out-of-context Action Detection
| Project/Area Number |
21H04908
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
原 健翔 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (70837575)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
金子 直史 青山学院大学, 理工学部, 助教 (40803531)
片岡 裕雄 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (70784883)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Keywords | 深層学習 / 行動認識 / 動画認識 / Transformer / シーングラフ |
|---|
| Outline of Annual Research Achievements |
本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的としている．文脈については，動画像が時系列的に変化することを踏まえ，空間的な文脈（ある時点でどういう状況か）と時間的な文脈（過去からの変化を踏まえてどのような状況か）という二つの側面からモデル化することを試みる．今年度は(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズム，それぞれについて研究を進めた．
(a)については，画像中の物体間の関係性を記述するシーングラフの生成に焦点を当てて研究した．画像中の物体の検出と検出した物体間の関係性の推定をEnd-to-Endに同時に処理可能な手法を新たに開発し，ViEW2021で発表，またSSII2022での発表を予定している．また，国際会議へも現在投稿中である．
(b)については，Transformerを用いて動画中の時系列を表現する手法について研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，ViEW2021で発表した．また，国際会議へも現在投稿中である．
(c)については，文脈にとらわれない人物行動を表現するために，人物姿勢を推定するための手法について研究を進めた．
(d)については，暫定的な行動の表現モデルと文脈の表現モデルを組み合わせて利用し，実動画中の異常行動を検出する技術についての研究を進めた．最終的には(a), (b), (c)で構築したモデルを統合して異常行動を検出することを試みる予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
空間的な文脈及び時間的な文脈のモデル化については，既に国内会議で発表するとともに国際会議へも論文投稿できているなど一定の成果を挙げており，順調に進展しているといえる．また人物行動のモデル化についても，モデル化に用いる姿勢推定技術について研究を進め論文投稿を予定している他，異常行動検出手法についても実動画での実験を進めることができており，概ね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
今後についても，当該年度と同様に，概要で述べた(a), (b), (c), (d)の各点について並行して進めていくことを予定している．
|
