2023 Fiscal Year Annual Research Report
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05951
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 知能情報処理 / 知覚情報処理 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
主に画像や映像からの非実体的質感を構成する人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。特に、意図の発現の代表例として指差し動作を取り上げ、単眼カメラからの実現人の指差しの検出およびその３次元方向推定を実現した。
指差しは、様々な意図を他者に共有できる簡便かつ多義的なジェスチャであり、対象人物の意図を直接的に表すものである。画像からの指差し認識を行った既存の研究では、深度カメラのような特殊なカメラの利用を前提としている、指示者の姿勢に制約があるなどの理由で、環境を自由に移動している指示者の自然な指差しを検出し推定できるものがなかった。提案手法であるDeePointは、指示者の動画を入力として、全身の画像特徴、及びその時系列変化を学習することで、指示者の姿勢によらない頑健な指差し認識を行う。DeePointを訓練するためには、自然に行われた指差しの三次元方向およびその開始と終了の時刻が教師として必要となるが、これを半自動的に作成する手法も導出した。33名の実験参加者の指差しを実際に撮影し、指差し情報をアノテートしたDPデータセットを作成した。DPデータセットで訓練されたDeePointは、訓練データに存在しない指示者や撮影環境においても指差しを認識でき、既存手法より高い性能を示し、比較実験により、提案手法は効率的に指示者の映像の特徴量を集約していることを示した。
また、実体的質感を解析する上では欠かせない反射モデルに関し、新たに可視光の表面反射のみならず偏光の反射特性も同一のモデルで正確に表現する新たに導出した。これは、現在まで別個に解析されていた鏡面反射および拡散反射を統一的扱うものでもあり、当該分野においても現在まで可視光および偏光、さらには鏡面反射および拡散反射と別々の数理モデルを要していた状況を打開する大きな成果であり、今後の実体的質感解析の基盤技術をなすものとなる。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
非実体的質感の解析には欠かせない人の意図発現を捉える指差しの検出および方向推定、並びに実体的質感解析の基盤となる可視光および偏光、さらに鏡面および拡散反射を統合した新たな反射モデルの導出を代表的研究成果とし、これらの当該分野最難関会議における発表も行なったことにより、当初計画以上に研究が進められていると判断する。
|
| Strategy for Future Research Activity |
当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。
|
