| Project/Area Number |
20H04205
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
Sato Yoichi 東京大学, 生産技術研究所, 教授 (70302627)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥17,550,000 (Direct Cost: ¥13,500,000、Indirect Cost: ¥4,050,000)
Fiscal Year 2023: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2022: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
|
|---|
| Keywords | 一人称視点映像解析 / 人物行動理解 / 人物行動センシング / 動作認識 / 複数視点統合 / コンピュータビジョン |
|---|
| Outline of Research at the Start |
映像解析による人物行動センシングは様々な応用分野で欠くことのできない基盤技術となっている。しかしながら、これまでは固定視点映像、自己視点映像、他者視点映像という異なる視点からの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。また、人とのインタラクションにおける行動について、単一の自己視点映像や他者視点映像では、互いとのやり取りの中での解析が出来なかった。本研究課題では、固定視点・自己視点・他者視点という異なる視点映像の統合解析を他に先駆けて実現し、これまでの映像からの人物行動センシングが抱えるこれらの課題の解決を目指す。
|
| Outline of Final Research Achievements |
In this project, we conducted research on the sensing of human behavior by integrated analysis of videos from different viewpoints (self-viewpoint, other viewpoint, and fixed viewpoint) in four aspects: 1. Feature learning for comprehensive analysis of multiple viewpoint videos by self-supervised learning, 2. Spatio-temporal alignment of videos from different viewpoints, 3. Human behavior understanding by integration of self-viewpoint and fixed viewpoint videos, and 4. Interaction analysis by integration of self-viewpoint and other viewpoint videos.
|
| Academic Significance and Societal Importance of the Research Achievements |
映像に基づく人物行動理解技術は、様々なアプリケーションドメインにおいて書くことが出来ない重要な基盤技術であり、これまでもコンピュータビジョンの分野において活発に研究が進められてきた。これまでは、固定視点映像、自己視点映像、他者視点映像という異なる視点映像が別々に扱われていたのに対し、本研究課題では、他に先駆けて固定視点・自己視点・他者視点という異なる視点映像の統合解析に取り組み、映像に基づく人物行動理解の高度化に貢献する成果を得ることができた。
|
