| 研究課題/領域番号 |
20H04205
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627)
|
|---|
| 研究分担者 |
菅野 裕介 東京大学, 生産技術研究所, 准教授 (10593585)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
17,550千円 (直接経費: 13,500千円、間接経費: 4,050千円)
2023年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2022年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2021年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2020年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
|
|---|
| キーワード | 一人称視点映像解析 / 人物行動センシング / 動作認識 / 複数視点統合 / コンピュータビジョン |
|---|
| 研究開始時の研究の概要 |
映像解析による人物行動センシングは様々な応用分野で欠くことのできない基盤技術となっている。しかしながら、これまでは固定視点映像、自己視点映像、他者視点映像という異なる視点からの映像が個別に用いられていたため、センシングされる行動の粒度や継続性等の限界が存在した。また、人とのインタラクションにおける行動について、単一の自己視点映像や他者視点映像では、互いとのやり取りの中での解析が出来なかった。本研究課題では、固定視点・自己視点・他者視点という異なる視点映像の統合解析を他に先駆けて実現し、これまでの映像からの人物行動センシングが抱えるこれらの課題の解決を目指す。
|
| 研究実績の概要 |
本研究課題では、自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングに向けて、研究項目１．自己教師有り学習による複数視点映像の総合解析に適した特量表現学習、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析、の４項目について研究に取り組むことを予定している。2022年度は、これまで得られた研究項目１の成果を踏まえ、研究項目２．異なる視点の映像間でのアラインメント、研究項目３．自己視点映像と固定視点映像の統合による人物行動センシング、研究項目４．自己視点映像と他者視点映像の統合によるインタラクション解析のそれぞれに取り組んだ。その結果、少量データからの動作認識モデルの学習、異なるもモダリティ特徴間のインタラクションに基づく動作認識モデルの教師無しドメイン適応、動作認識モデルの振る舞い可視化、自己視点映像による手動作理解の高度化のそれぞれについて研究成果を得た。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
自己視点・他者視点・固定視点の異なる視点からの映像を統合解析による人物行動センシングについて研究に取り組み、少量データからの動作認識モデルの学習、異なるもモダリティ特徴間のインタラクションに基づく動作認識モデルの教師無しドメイン適応、動作認識モデルの振る舞い可視化、自己視点映像による手動作理解の高度化について研究成果を得た。それらの成果はコンピュータビジョン分野と医用画像処理分野におけるトップ国際会議であるCVPR、ECCV、MICCAIに4件の論文として採択されている。さらに、同分野の主要国際ジャーナルIEEE TCSVT, 国際会議WACVにも論文が採択されており、当初の計画以上の進捗が得られたと考える。
|
| 今後の研究の推進方策 |
おおむね、研究計画通り進めることが出来ており、今後は獲得された特徴量表現を用いて、複数視点映像を入力とした動作検出・動作認識のための手法の開発や、それを用いた人対人のインタラクション解析に取り組むことを予定している。
|
