2022 Fiscal Year Annual Research Report
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05951
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
延原 章平 京都大学, 情報学研究科, 准教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 知能情報処理 |
|---|
| Outline of Annual Research Achievements |
主に画像や映像からの物体の物理的特性や周囲環境の復元、ならびに人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。
物体の物理的特性や周囲環境の復元に関し、少数枚の画像から物体の反射特性と周囲の光源状況を求めることにより、対象の質感を数値的に復元することを目指し、特に一様で拡散反射などの単純な質感ではない物体について、既知の自然な照明環境下で撮影された多視点画像から深度・法線・反射特性を復元する新たな多視点ステレオ手法を提案した。提案手法ではまず、陰影や光沢などの見えを手がかりとして被写体の法線を画素ごとの確率密度分布として推定し、これらの推定された法線を視点によらず不変な特徴量として用い、視点間の対応関係の検出および法線推定に利用する。また、形状に加えて反射特性を明示的に推定し、形状と反射特性の推定結果を交互に更新することにより、多様な反射特性を持つ物体についてより精緻な３次元形状復元を実現した。新たに作成したCG画像・実画像データセットを用いて評価実験を行い、物体や照明環境によらず正確に３次元形状・反射特性を復元できることを示した。
人の意図理解に向けて、昨年度から引き続き、第三者視点からの対象者の目の観察に依らない視線方向推定手法の導出をおこない、国際会議において発表をおこなった。さらに、指差しの検出とその3次元方向の推定を実現するトランスフォーマに基づいた新たな深層学習モデルを導出し、33人による2万フレームを超える大規模指差し映像データ・セットを構築した。これにより、室内での自由行動を行っている人物の指差し行動を正確に認識できることを示した。また、同様に非実体質感理解に向けて、場の復元につなげるため、自由行動下の人物を観察するだけで、観察を行っているカメラ群の相対位置関係を復元できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
実体深奥質感の解析に向けて、画像からの物体の物理特性の推定をおこなう手法の一つとして、複雑な環境光下でも精緻に物体の形状および反射特性を復元できる手法を導出し、実体質感の数値的理解を実現した。部屋の四隅につけられた固定視点カメラなどから、自由行動下における人物がいつ指差しをしているかを検出し、さらにその3次元方向の復元をおこなう方法を導出し、非実体質感の一つとして意図発現としての指差し行動の理解を実現した。これらを含め研究成果は最難関国際会議論文として採択されており、当初計画通り研究が順調に進展していると判断する。
|
| Strategy for Future Research Activity |
当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。
|
Research Products
(8 results)
