研究課題
今年度は、特に演繹モデルの帰納的学習による推定を実現すべく、任意の物体の精緻な3次元形状復元に注力した。本研究では、研究代表者が以前に導出した可逆ニューラルネットワークによって表現された反射特性を用いて、画像から任意の素材でできた物体の精緻な形状復元を実現した。既知ではあるが複雑な自然環境光の下で撮像された少数枚の画像から、はじめに各画像について法線方向を確率分布として復元し、これらの法線分布を特徴とした対応点探索をすべての入力画像について同時に行うことにより、反射特性と３次元形状の同時推定をおこなった。特に、損失関数をノンパラメトリックに表現し、その最適解を出力するネットワークを構成することにより、法線推定のための解析的な生成モデルと、求められた法線分布も用いた深層学習による対応点探索という、まさに演繹と帰納の境目のない統合を実現することにより、いままで不可能であったら複雑な反射特性を持つ物体の自然環境下での３次元形状復元を実現した。本研究成果は現在国際会議に論文投稿中である。さらに、人間の視線推定において、体の動きと目の動きの間に存在する生理学的連動（vestibulo ocular reflex）をニューラルネットワークによって帰納的に学習することにより、人の体の向きと頭の向きの変遷から視線を正確に推定する手法を導出した。これにより、監視カメラ等の遠くから撮像された映像から人の視線行動理解を実現でき、老人の見守りなどにおける人の意図理解のための基盤技術となる。さらに、自動運転において、偏光や近赤外光において異なる光学的特性を示す様々な実世界素材を帰納的学習によりモデル化することにより、車載カメラから各画素単位で素材認識できることを示した。本研究成果は自動運転に素材の理解を可能とするものであり、安全性に大きく寄与するものである。これらの研究成果は国際会議発表予定である。
2: おおむね順調に進展している
当初計画していた演繹モデルと帰納的学習の統合による任意の物体の精緻な3次元形状復元する手法の導出に成功し、その有効性を実データを用いて検証することができた。また、自動運転における素材認識および自由行動をおこなう人物の遠くからの視線行動推定に関し、同様に演繹モデルと帰納的学習の統合された手法の導出ならびにその有効性の検証をおこなえた。これらの研究成果により、計画通り順調に研究が進展していると判断する。
本研究成果をもとに、さらに光源状況の推定も同様に解析的な生成モデルを仮定しつつ、帰納的学習によって、反射特性と３次元形状とともに同時推定できないか探る予定であり、これらの結果を加えて、今回の国際会議投稿論文を拡充し、国際論文誌に投稿予定である。さらに、当初計画通り、光学的分解の学習による最適化や反射と幾何の統合的表現の導出などの研究項目に取り掛かる予定である。
すべて 2022 2021
すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (3件) (うち国際学会 3件)
IEEE Transactions on Pattern Analysis and Machine Intelligence
巻: online first ページ: 1-16
10.1109/TPAMI.2021.3129537
Image and Vision Computing
巻: 113 ページ: 1-9
10.1016/j.imavis.2021.104262
巻: 7(43) ページ: 2220-2232
10.1109/TPAMI.2021.3075450
