| 研究課題/領域番号 |
22KJ0999
|
|---|
| 補助金の研究課題番号 |
22J20071 (2022)
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 基金 (2023)
補助金 (2022) |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
大川 武彦 東京大学, 情報理工学系研究科, 特別研究員(DC1)
|
|---|
| 研究期間 (年度) |
2023-03-08 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
3,100千円 (直接経費: 3,100千円)
2024年度: 800千円 (直接経費: 800千円)
2023年度: 1,100千円 (直接経費: 1,100千円)
2022年度: 1,200千円 (直接経費: 1,200千円)
|
|---|
| キーワード | 手・物体操作理解 / 一人称ビジョン |
|---|
| 研究開始時の研究の概要 |
コンピュータビジョン技術による人物行動認識は，映像中の人物の行動を予測するタスクであり，人間の活動支援への応用が期待されている.しかし，実運用場面において十分な量の教師ラベルが入手可能であるとは限らないため，安価かつ迅速な行動認識モデルの構築は困難である．本研究では，異なるデータセット間に共通する動作特徴の転移可能性に注目して転移学習アルゴリズムを開発し，教師ラベルが限られる運用データにおいて人物行動認識を行う．
|
| 研究実績の概要 |
今年度は，これまでの採用期間で開発した手操作認識モデルに関する知見をサーベイという形式でまとめ，さらなる発展領域である行動認識，マルチビュー画像に基づく手認識に関する研究を行なった．第一に，前年度の研究を深化させ，国際学会ICCV 2023にて手操作認識に関するワークショップ，そして一人称視点手姿勢推定に関するコンペティションを開催した．手操作認識に関するサーベイをトップジャーナルであるIJCVにて出版した．さらに，このコンペティションから派生して，マルチビューの一人称視点手姿勢推定タスクをCVPR 2024にて発表予定である．第二に，手操作認識の時間拡張，行動理解との接続に関する研究を実施した．実際の調理映像から手物体の位置情報をトラッキングして，キャプションとしての作業動作記述する手法を提案した．本研究はCVPR2024のワークショップにて発表予定である．
また，今年度は，チューリッヒ工科大学の訪問研究員としてスイスへ滞在し，マイクロソフトリサーチアジアも含めた共同研究という形式で研究を実施した．さらにシンガポール国立大学におけるセミナー講演や，国際会議ICCV, 国際研究会ICVSSにおける発表など行い，自身の研究のアウトリーチの良い機会となった．一人称視点調理映像データセット構築のプロジェクトに関しては，オムロンサイニックエックス社と産学連携して，被験者を集めて映像収録，アノテーションを行い，作業内容の解析を行った．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
前年度から継続して手認識に関する研究を行い，トップジャーナル，国際会議に採択された．また，手認識からの行動認識への接続に関する発展研究も実施した．さらに，国際ワークショップ主催やチューリッヒ工科大学での訪問研究，シンガポール国立大学や国際研究会ICVSSにおける発表など，自身の研究をアウトリーチする経験を多数持つことができ，研究者間のネットワーク作りにも努めた．
|
| 今後の研究の推進方策 |
引き続き，行動認識モデルの開発を進めて，アノテーションが限られる映像への行動認識モデルの転移学習手法の開発にも取り組む．近年，大規模な視覚言語モデルの開発が進み，広く応用されていることから，行動認識を自然言語で記述して実現する方針についても検討する．
|
