自己視点・他者視点・固定視点映像の統合解析による人物行動センシング
| Project/Area Number |
20H04205
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
|
|---|
| Keywords | 一人称視点映像解析 / 人物行動センシング / 動作認識 / 複数視点統合 / コンピュータビジョン |
|---|
| Outline of Research at the Start |
映像解析による人物行動センシングは様々な応用分野で欠くことのできない基盤技術となっている。しかしながら、これまでは固定視点映像、自己視点映像、他者視点映像という異なる視点からの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。また、人とのインタラクションにおける行動について、単一の自己視点映像や他者視点映像では、互いとのやり取りの中での解析が出来なかった。本研究課題では、固定視点・自己視点・他者視点という異なる視点映像の統合解析を他に先駆けて実現し、これまでの映像からの人物行動センシングが抱えるこれらの課題の解決を目指す。
|
| Outline of Annual Research Achievements |
本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析、の４項目について研究に取り組むことを予定している。2022年度は、これまで得られた研究項目１の成果を踏まえ、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析のそれぞれに取り組んだ。その結果、少量データからの動作認識モデルの学習、異なるもモダリティ特徴間のインタラクションに基づく動作認識モデルの教師無しドメイン適応、動作認識モデルの振る舞い可視化、自己視点映像による手動作理解の高度化のそれぞれについて研究成果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングについて研究に取り組み、少量データからの動作認識モデルの学習、異なるもモダリティ特徴間のインタラクションに基づく動作認識モデルの教師無しドメイン適応、動作認識モデルの振る舞い可視化、自己視点映像による手動作理解の高度化について研究成果を得た。それらの成果はコンピュータビジョン分野と医用画像処理分野におけるトップ国際会議であるCVPR、ECCV、MICCAIに4件の論文として採択されている。さらに、同分野の主要国際ジャーナルIEEE TCSVT, 国際会議WACVにも論文が採択されており、当初の計画以上の進捗が得られたと考える。
|
| Strategy for Future Research Activity |
おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。
|
Report
(3 results)
Research Products
(15 results)
-
-
-
-
-
-
-
-
-
[Presentation] Neural Routing by Memory2021
Author(s)
Kaipeng Zhang, Zhenqiang Li, Zhifeng Li, Wei Liu, and Yoichi Sato
Organizer
The 35th Conference on Neural Information Processing Systems (NeurIPS 2021)
Related Report
Int'l Joint Research
-
-
-
-
-
-
