研究領域 | 実世界の奥深い質感情報の分析と生成 |
研究課題/領域番号 |
20H05951
|
研究種目 |
学術変革領域研究(A)
|
配分区分 | 補助金 |
審査区分 |
学術変革領域研究区分(Ⅳ)
|
研究機関 | 京都大学 |
研究代表者 |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
研究分担者 |
延原 章平 京都大学, 情報学研究科, 准教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
研究期間 (年度) |
2020-11-19 – 2025-03-31
|
研究課題ステータス |
交付 (2023年度)
|
配分額 *注記 |
116,090千円 (直接経費: 89,300千円、間接経費: 26,790千円)
2024年度: 18,200千円 (直接経費: 14,000千円、間接経費: 4,200千円)
2023年度: 20,930千円 (直接経費: 16,100千円、間接経費: 4,830千円)
2022年度: 20,930千円 (直接経費: 16,100千円、間接経費: 4,830千円)
2021年度: 19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円)
2020年度: 36,140千円 (直接経費: 27,800千円、間接経費: 8,340千円)
|
キーワード | 知覚情報処理 / コンピュータビジョン / コンピュテーショナルフォトグラフィ / 画像情報処理 / 人間計測 / 知能情報処理 / 深奥質感 / 知能情報学 |
研究開始時の研究の概要 |
人間の「目測」の計算機による実現を目指し、単に物を見た目から認識するという現在の計算機視覚の限界を突破し、一見明らかではないが、視覚情報から抽出されうる物体や環境にまつわる属性を推定できるようにする。また、人間が暗黙に視覚より得ている物、人や場に対して働きかける上で有用な属性情報の顕在化を目指す。特に、「物」「人」さらにそれらが配置され形成する「場」を考え、それぞれについて視覚から抽出しうる人間の行動の決定に有用な質感にまつわる情報を網羅的に推定することを目指す。これら計算機視覚を用いた深奥質感の知覚、表現、そして利用の実現を通し、人間の深奥質感知覚機構の解明および操作にも資する。
|
研究実績の概要 |
主に画像や映像からの物体の物理的特性や周囲環境の復元、ならびに人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。 物体の物理的特性や周囲環境の復元に関し、少数枚の画像から物体の反射特性と周囲の光源状況を求めることにより、対象の質感を数値的に復元することを目指し、特に一様で拡散反射などの単純な質感ではない物体について、既知の自然な照明環境下で撮影された多視点画像から深度・法線・反射特性を復元する新たな多視点ステレオ手法を提案した。提案手法ではまず、陰影や光沢などの見えを手がかりとして被写体の法線を画素ごとの確率密度分布として推定し、これらの推定された法線を視点によらず不変な特徴量として用い、視点間の対応関係の検出および法線推定に利用する。また、形状に加えて反射特性を明示的に推定し、形状と反射特性の推定結果を交互に更新することにより、多様な反射特性を持つ物体についてより精緻な3次元形状復元を実現した。新たに作成したCG画像・実画像データセットを用いて評価実験を行い、物体や照明環境によらず正確に3次元形状・反射特性を復元できることを示した。 人の意図理解に向けて、昨年度から引き続き、第三者視点からの対象者の目の観察に依らない視線方向推定手法の導出をおこない、国際会議において発表をおこなった。さらに、指差しの検出とその3次元方向の推定を実現するトランスフォーマに基づいた新たな深層学習モデルを導出し、33人による2万フレームを超える大規模指差し映像データ・セットを構築した。これにより、室内での自由行動を行っている人物の指差し行動を正確に認識できることを示した。また、同様に非実体質感理解に向けて、場の復元につなげるため、自由行動下の人物を観察するだけで、観察を行っているカメラ群の相対位置関係を復元できることを示した。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
実体深奥質感の解析に向けて、画像からの物体の物理特性の推定をおこなう手法の一つとして、複雑な環境光下でも精緻に物体の形状および反射特性を復元できる手法を導出し、実体質感の数値的理解を実現した。部屋の四隅につけられた固定視点カメラなどから、自由行動下における人物がいつ指差しをしているかを検出し、さらにその3次元方向の復元をおこなう方法を導出し、非実体質感の一つとして意図発現としての指差し行動の理解を実現した。これらを含め研究成果は最難関国際会議論文として採択されており、当初計画通り研究が順調に進展していると判断する。
|
今後の研究の推進方策 |
当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。
|