| 研究領域 | 実世界の奥深い質感情報の分析と生成 |
|---|
| 研究課題/領域番号 |
20H05951
|
|---|
| 研究種目 |
学術変革領域研究(A)
|
| 配分区分 | 補助金 |
|---|
| 審査区分 |
学術変革領域研究区分(Ⅳ)
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
西野 恒 京都大学, 情報学研究科, 教授 (60814754)
|
|---|
| 研究分担者 |
延原 章平 京都工芸繊維大学, 情報工学・人間科学系, 教授 (00423020)
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
|
|---|
| 研究期間 (年度) |
2020-11-19 – 2025-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
116,090千円 (直接経費: 89,300千円、間接経費: 26,790千円)
2024年度: 18,200千円 (直接経費: 14,000千円、間接経費: 4,200千円)
2023年度: 20,930千円 (直接経費: 16,100千円、間接経費: 4,830千円)
2022年度: 20,930千円 (直接経費: 16,100千円、間接経費: 4,830千円)
2021年度: 19,890千円 (直接経費: 15,300千円、間接経費: 4,590千円)
2020年度: 36,140千円 (直接経費: 27,800千円、間接経費: 8,340千円)
|
|---|
| キーワード | 知覚情報処理 / 知能情報処理 / コンピュータビジョン / コンピュテーショナルフォトグラフィ / 画像情報処理 / 人間計測 / 深奥質感 / 知能情報学 |
|---|
| 研究開始時の研究の概要 |
人間の「目測」の計算機による実現を目指し、単に物を見た目から認識するという現在の計算機視覚の限界を突破し、一見明らかではないが、視覚情報から抽出されうる物体や環境にまつわる属性を推定できるようにする。また、人間が暗黙に視覚より得ている物、人や場に対して働きかける上で有用な属性情報の顕在化を目指す。特に、「物」「人」さらにそれらが配置され形成する「場」を考え、それぞれについて視覚から抽出しうる人間の行動の決定に有用な質感にまつわる情報を網羅的に推定することを目指す。これら計算機視覚を用いた深奥質感の知覚、表現、そして利用の実現を通し、人間の深奥質感知覚機構の解明および操作にも資する。
|
| 研究実績の概要 |
主に画像や映像からの非実体的質感を構成する人の意図理解に通ずる状態や意図の発現の検出および認識などに関する研究を進めた。特に、意図の発現の代表例として指差し動作を取り上げ、単眼カメラからの実現人の指差しの検出およびその３次元方向推定を実現した。
指差しは、様々な意図を他者に共有できる簡便かつ多義的なジェスチャであり、対象人物の意図を直接的に表すものである。画像からの指差し認識を行った既存の研究では、深度カメラのような特殊なカメラの利用を前提としている、指示者の姿勢に制約があるなどの理由で、環境を自由に移動している指示者の自然な指差しを検出し推定できるものがなかった。提案手法であるDeePointは、指示者の動画を入力として、全身の画像特徴、及びその時系列変化を学習することで、指示者の姿勢によらない頑健な指差し認識を行う。DeePointを訓練するためには、自然に行われた指差しの三次元方向およびその開始と終了の時刻が教師として必要となるが、これを半自動的に作成する手法も導出した。33名の実験参加者の指差しを実際に撮影し、指差し情報をアノテートしたDPデータセットを作成した。DPデータセットで訓練されたDeePointは、訓練データに存在しない指示者や撮影環境においても指差しを認識でき、既存手法より高い性能を示し、比較実験により、提案手法は効率的に指示者の映像の特徴量を集約していることを示した。
また、実体的質感を解析する上では欠かせない反射モデルに関し、新たに可視光の表面反射のみならず偏光の反射特性も同一のモデルで正確に表現する新たに導出した。これは、現在まで別個に解析されていた鏡面反射および拡散反射を統一的扱うものでもあり、当該分野においても現在まで可視光および偏光、さらには鏡面反射および拡散反射と別々の数理モデルを要していた状況を打開する大きな成果であり、今後の実体的質感解析の基盤技術をなすものとなる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
非実体的質感の解析には欠かせない人の意図発現を捉える指差しの検出および方向推定、並びに実体的質感解析の基盤となる可視光および偏光、さらに鏡面および拡散反射を統合した新たな反射モデルの導出を代表的研究成果とし、これらの当該分野最難関会議における発表も行なったことにより、当初計画以上に研究が進められていると判断する。
|
| 今後の研究の推進方策 |
当初計画通り、非実態深奥質感および実体深奥質感の計算機視覚による知覚実現に向け、特に深層生成モデルを活用した、より深い物体質感の定量的推定や、人の意図や周囲環境との相互作用から浮かび上がる非実体質感の認識を実現するための基盤技術導出に注力する。
|
