2021 Fiscal Year Annual Research Report
自己視点・他者視点・固定視点映像の統合解析による人物行動センシング
| Project/Area Number |
20H04205
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 人物行動センシング / 動作認識 / 一人称視点映像解析 / 複数視点統合 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析、の４項目について研究に取り組むことを予定している。2021年度は、2020年度から継続した取り組みとして、Cross-View Non-Localネットワークによる自己視点映像と固定外部視点映像からの特徴学習手法の拡張に取り組んだ。また、研究項目３の人物行動センシングについて、Stacked Temporal Attentionと呼ばれる動作認識手法を提案し、一人称視点映像からの動作認識のタスクにおいて、既存手法を越える性能を達成することに成功した。また、手による物体操作を伴う行動の理解に向けて、一人称視点映像からの手と操作物体のコンタクト状態推定に関する研究に取り組み、手・物体コンタクト状態推定のためのデータセットの構築とコンタクト状態推定手法の開発で成果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究項目１の自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習について、Cross-View Non-Localネットワークによる特徴学習手法の拡張で成果を得た。また、研究項目３の自己視点映像と固定視点映像の統合による人物行動センシングについて、動作認識タスクに対してStacked Temporal Attentionと呼ばれるアプローチを新たに考案し、既存手法を越える高い認識精度を達成した。さらに、人物行動センシングの基盤技術の一つとして手と操作物体のコンタクト状態推定手法を開発した。一方、研究項目２の異なる視点の映像間でのアラインメントに関しては取り組みを進めることが出来なかったが、全体として概ね順調に進展していると考える。
|
| Strategy for Future Research Activity |
おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。
|
-
-
-
[Presentation] Neural Routing by Memory2021
Author(s)
Kaipeng Zhang, Zhenqiang Li, Zhifeng Li, Wei Liu, and Yoichi Sato
Organizer
The 35th Conference on Neural Information Processing Systems (NeurIPS 2021)
Int'l Joint Research
-
-
