| Project/Area Number |
21J11626
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
八木 拓真 東京大学, 情報理工学系研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2021-04-28 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥1,500,000 (Direct Cost: ¥1,500,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 手-物体インタラクション / 動画像理解 / 一人称ビジョン / 接触判定 |
|---|
| Outline of Research at the Start |
映像から手操作とそれによって引き起こされる物体状態変化の認識モデルを構築し、それを利用した一人称視点映像からの長期行動予測を実現する。運ぶ/注ぐ/道具を用いて切る等の動作とその結果どのような状態変化が起こるかを認識するためには多量のデータを必要とするが、本研究ではその背後にある手操作の同一性に注目することでデータ効率の良い状態変化検出を実現する。また、ある手操作がどのような結果をもたらすかを予測するモデルを構築することで環境に起こる変化を考慮した将来行動予測を実現する。
|
| Outline of Annual Research Achievements |
2021年度は、一人称視点映像中において手と物体が触れているか否かを時系列で予測する手-物体接触判定（テーマA）の問題およびテーマBに必要な技術として映像中に出現する物体をインスタンス単位で識別する問題に取り組んだ。
手-物体接触判定では、未知の手と物体の組における接触状態の推論を行うために (i) 手と物体の運動方向の相関による疑似ラベルの生成に基づく半教師あり学習 (ii) 誤りを含む疑似ラベルを少数の正しいラベルを含む訓練データを基に訓練中に逐次的にラベル訂正を行う方法 の2つの提案を行った。また、評価のために自然な調理動作を含むEPIC-KITCHENSデータセット上に新たにアノテーションを付与し、同データセット上で先行手法および教師データのみを用いて訓練した場合と比して高い性能を達成した。
物体インスタンス識別はある物体に対して発生する手-物体インタラクションを長時間追跡するために異なる時刻に出現する同一のインスタンスを識別する上で重要なタスクである。本年度はユーザが物体とインタラクションを行う動的環境においてどの程度インスタンスの識別が行えるかの検証を行った。具体的には、EPIC-KITCHENSデータセット上に新たに1,500以上のインスタンスを含む大規模かつ挑戦的なベンチマークを構築し、表現学習に基づく高精度を達成するベースラインモデルおよび本ベンチマークに出現する特有の難しさの分析を行った。
当初予定していた作用物体の検出（テーマA後半）、物体状態変化検出（テーマB）、人物行動予測（テーマC）については採用終了のため着手できなかった。
|
| Research Progress Status |
翌年度、交付申請を辞退するため、記入しない。
|
| Strategy for Future Research Activity |
翌年度、交付申請を辞退するため、記入しない。
|
