| 研究課題/領域番号 |
20H04205
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627)
|
|---|
| 研究分担者 |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| キーワード | 人物行動センシング / 動作認識 / 一人称視点映像解析 / 複数視点統合 |
|---|
| 研究実績の概要 |
本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析、の４項目について研究に取り組むことを予定している。2020度は、異なる視点映像の統合解析による人物行動センシングの実現に向けて、まず統合解析に適した特徴量表現の獲得を目指し、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習に取り組んだ。具体的には、自己視点映像と他者視点映像の組み合わせに関して、一対一の対話シーンなどを対象に、各自が装着したウェアラブルカメラで撮影された自己視点映像のペアをもとに、人工的に時間同期をずらしたペアからずれ量を推定するネットワークを学習し、その精度を検証した。今後は獲得された特徴表現を用いた動作認識などのタスクにおける効果検証を進める予定である。また、自己視点映像と固定の外部視点映像からの特徴表現学習に関して、合致する固定視点映像と自己視点映像のペアと合致しないペアを用いた距離学習にNon-Local Blockと呼ばれる重みづけを導入することで、既存手法を越える性能を実現した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特徴表現学習について、時間同期を手掛かりとした自己教師あり学習による特徴表現学習に取り組み、前段の疑似タスク（pretext task）での性能を確認することが出来た。また、研究項目２．異なる視点の映像間でのアラインメントに関して、当初、自己視点映像と外部固定視点映像間での空間的対応付けに取り組むことを予定していたが、研究項目１に関連して、自己視点映像と固定の外部視点映像からの特徴表現学習を優先することとし、成果を得ることが出来た。
|
| 今後の研究の推進方策 |
おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。
|
