2024 Fiscal Year Annual Research Report
| Project Area | Analysis and synthesis of deep SHITSUKAN information in the real world |
|---|
| Project/Area Number |
20H05951
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 教授 (30756896)
|
|---|
| Project Period (FY) |
2020-11-19 – 2025-03-31
|
| Keywords | 知能情報処理 / コンピュータビジョン |
|---|
| Outline of Annual Research Achievements |
非実体深奥質感の認識および推定に関し、本年度は特に、屋内における自由行動をする人物の人体形状の精緻なモデリングを行うことにより、その動きに発現する意図理解に繋げる研究を行なった。特に、屋内環境において頻発する家具などによる遮蔽に頑健な人体の軌跡推定および姿勢推定の実現に向け、３次元幾何と深層学習モデルを中心としたデータ駆動手法の融合に取り組んだ。具体的には、多視点からの身体形状及び姿勢復元を深層最適化として定式化することで、頑健かつ汎用的な推定を可能とするHeatFormerを導出した。HeatFormerはSMPLパラメータ推定を、多視点でヒートマップ生成及びアラインメントを実現する新しいTransformerエンコーダ、デコーダモデルによって構成される。アライメント過程をTransformer構造で学習することで、最適化変数を使用せずに、SMPLパラメータを正確に推定することが可能である。また、深層学習を用いた単眼深度推定を活用し、非常に少ない枚数の画像から任意視点映像を生成する手法を導出した。これらの研究成果はコンピュータビジョン分野トップ国際会議において発表予定である。さらに、自己視点映像を組み合わせることにより、生花のように非剛体物体との相互作用を正確に３次元モデル化する手法の導出や、服の動きが体の動きを反映して正確に再現できる新たな着衣人体モデルの導出など、物理シミュレーションと映像からの3次元形状復元の統合による実体質感のモデル化においても大きな進捗を得た。これらの研究成果は現在論文にまとめており、トップ国際会議に投稿予定である。他にも偏光を用いた微細な3次元形状の復元や、動きを伴った人体の任意視点映像復元法、さらには物体表面において反射された世界での点対応からの3次元復元法など、非実体および実体質感の基盤解析技術を多く導出し難関国際会議で発表した。
|
| Research Progress Status |
令和6年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和6年度が最終年度であるため、記入しない。
|
