| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05951
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| 研究分担者 |
延原 章平 京都大学, 情報学研究科, 准教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| キーワード | 知能情報処理 |
|---|
| 研究実績の概要 |
主に物体の見えからの環境や物体の物理的特性の推定、ならびに第三者視点からの視線推定による意図理解に関する研究に注力した。「目測」などの言葉に表されるように、我々は視覚から見ている物の硬さや重さなど、様々な物理的特性の推量を無意識に繰り返している。特に大きさ、体積、密度、重さなどは物体や表面の見た目に反映される物理的特性であり、計算機視覚による知覚実現が期待できる。このような物理量を推定する手がかりの一つとして、画像内におけるすべての物体の素材を推定する手法を導出した。この手法は、通常のRGB画像では避けられない同一素材でも異なる見え方をする、あるいは逆に異なる素材でも同じ見え方をするという不定性を解決するために、RGBのみならず近赤外光画像と偏光画像を同一視点で撮像し、それらの情報を統合的に扱う深層学習モデルを用いることにより、頑健に各ピクセルすべてについて、写されたものの素材を同定するものである。本研究結果は、国際会議に論文が採択されており、６月に発表予定である。
また、人の内面状態や意図などの深奥質感から発現される、視覚情報から得られる対象人物の動作、仕草、注意、身振りなどを第三者の視点から解読すること目指し、第三者視点からの対象者の目の観察に依らない視線方向推定手法の導出をおこなった。本手法は、人間の視線の動きが頭部の動きおよび体躯の動きと連動していることに着目し、これらの角度空間における関連性を深層学習モデルとして学習することにより、遠くからでも比較的正確に推定できる体躯方向と頭部方向から視線方向を推定するものである。これにより、自由行動をする人の目を見ずとも視線方向が推定できることを示した。これは、場の質感等、行動理解のみならずその空間における行動に発現する状況を解読するためにも有用な手がかりとなる。本研究結果は、国際会議に論文が採択されており、６月に発表予定である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
実体深奥質感の解析に向けて、画像からの物体の物理特性の推定をおこなう手法の一つとして、近赤外光や偏光を用いて物体の素材を画像内で各ピクセルごとに認識する手法を導出した。さらに、部屋の四隅につけられた固定視点カメラなどの、遠くからの視点を用いて、目を見ずとも対象人物の視線方向を推定する手法を導出した。これらの研究成果は最難関二篇の国際会議論文として採択されている。これらの研究成果により、当初計画通り研究が順調に進展していると判断する。
|
| 今後の研究の推進方策 |
当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に動的な第三者視点映像からの自己および周囲のすべての人の軌跡および目的地点の推定法や、視点の異なる数枚の画像から、任意に視線方向の異なる少数枚の画像から反射特性を推定する手法の導出に注力する。
|
