2023 Fiscal Year Annual Research Report
Out-of-context Action Detection
| Project/Area Number |
21H04908
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
原 健翔 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70837575)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
青木 義満 慶應義塾大学, 理工学部(矢上), 教授 (00318792)
金子 直史 東京電機大学, 未来科学部, 准教授 (40803531)
片岡 裕雄 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (70784883)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Keywords | 深層学習 / 行動認識 / 動画認識 / Transformer / シーングラフ |
|---|
| Outline of Annual Research Achievements |
本研究は，動画像における文脈をモデル化し，文脈を考慮した異常検知技術を確立することを目的とし，(a)空間的な文脈のモデル化及び(b)時間的な文脈のモデル化，(c)文脈にとらわれることなく人物行動を表現するモデル，(d)文脈を考慮した異常行動の自動検出アルゴリズムの研究に取り組むものである．(d)については，昨今の大規模言語モデルの発展により言語処理による解決が見えてきており，最終年度においては(a), (b)の高精度化が特に重要であると判断しそれらに注力し研究を進めた．(a)については，昨年度から継続して動画中の物体間の関係性を記述するシーングラフの生成について研究した．物体検出と関係性の推定を，(b)の側面も考慮し過去の時系列を踏まえた上で同時処理可能な手法を開発し，国際論文誌に投稿中である．また昨年度発表した成果がSSII2022最優秀学術賞を受賞した．加えて，動画中の各フレームの物体を教師なしセグメンテーションする手法を研究しMIRU2023にて発表した．現在国際論文誌に投稿中である．(b)については，昨年度から継続してTransformerを用いて動画中の時系列を表現する手法を研究した．過去の行動から未来の行動への遷移をTransformerで認識することにより未来の行動を予測する手法を開発し，精密工学会誌に採択された．加えて，シーン中の物体の状態の変化を高度に理解するために，画像中に含まれる物体が自然に風化する様を合成する手法を研究し，IEEE Accessに採択された他，物体状態を自由に変化させるためのテクスチャを生成する手法を研究し，VC2023にて発表し企業賞を受賞及びSIGGRAPH Asia 2023にて発表した．(d)については，人物姿勢情報及び物体情報に基づいて異常行動を検知する手法を研究し精密工学会誌に採択された．
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
