2022 Fiscal Year Annual Research Report
Out-of-context Action Detection
| Project/Area Number |
21H04908
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
原 健翔 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70837575)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
金子 直史 青山学院大学, 理工学部, 助教 (40803531)
片岡 裕雄 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70784883)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Keywords | 深層学習 / 行動認識 / 動画認識 / Transformer / シーングラフ |
|---|
| Outline of Annual Research Achievements |
本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的としている．今年度は(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズム，それぞれについて研究を進めた．(a)については，動画中の物体間の関係性を記述するシーングラフの生成について研究した．物体検出と関係性の推定を，(b)の側面も考慮し過去の時系列を踏まえた上で同時処理可能な手法を新たに開発し，ViEW2022及びDIA2023で発表した．また，国際会議へも現在投稿中である．加えて，動画中の各フレームの物体を教師なしセグメンテーションする手法についても研究し，現在国際会議に論文を投稿中である．(b)については，Transformerを用いて動画中の時系列を表現する手法について研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，ViEW2022で発表した．また，論文誌へも現在投稿中である．加えて，シーン中の物体の状態の変化を高度に理解するために，画像中に含まれる物体が自然に風化していく様を合成する手法について研究し，Visual Computing 2022で発表した．(c)については，文脈にとらわれない人物行動を表現するために，人物姿勢を推定するための手法について研究を進め，MIRU2022で発表し，インタラクティブ発表賞を受賞した．(d)については，暫定的な行動の表現モデルと文脈の表現モデルを組み合わせて利用し，実動画中の異常行動を検出する技術についての研究を進めた．また，人物姿勢情報及び物体情報に基づいて異常行動を検知する手法について研究し，DIA2023で発表，DIA2023研究奨励賞を受賞した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
空間的な文脈及び時間的な文脈のモデル化については，昨年度に引き続き国内会議で4件の発表を行う他，国際会議や論文誌への投稿もできており一定の成果を挙げており，順調に進展しているといえる．また人物行動のモデル化についても，モデル化に重要な姿勢推定技術の研究が進展し国内会議で発表及び受賞という成果を挙げている．また，異常行動検出手法についても国内会議での発表及び受賞するという成果を挙げており，研究課題の各項目において概ね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
研究課題の各項目の進展に伴い，空間的な文脈及び時間的な文脈のモデル化技術が発展しており，また姿勢情報に基づく人物行動のモデル化についても成果が挙がっている．次年度では，各項目の技術を統合し，場の文脈を考慮した異常行動の自動検知の実現に向けて研究を進めていくことを予定している．
|
