2019 Fiscal Year Research-status Report
精緻で豊かな計算機視覚の実現に向けた認識と複元の統合
| Project/Area Number |
17K20143
|
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
西野 恒 京都大学, 情報学研究科, 教授
|
|---|
| Project Period (FY) |
2018 – 2020
|
| Keywords | コンピュータビジョン / 知能情報処理 |
|---|
| Outline of Annual Research Achievements |
人間の高次視覚は、見ているものを認識し、その物理的構成等を復元するという二つの重要な機能を備えており、これらの機能が密接に連携することにより、豊かな視覚知能を実現している。一方、コンピュータビジョンにおいて実世界の認識と復元は、互いに独立してその機能の実現が追究されてきた。本研究では、認識と復元を統合することにより、それぞれの現在の本質的限界を突破し、より精確で豊かな計算機視覚知能の実現を目指している。画像に写されたものを認識することによりそれらの復元が精緻になり、逆にその物理的構造や特性を明示的に復元することにより認識がより精確になるよう、両者の有機的統合を、統計的機械学習にもとづいた見通しの良い定式化と効率的な推定手法の導出により実現することを目指している。交付二年目となる令和元年度は平成30年度の研究成果に基づき、特に深層学習生成モデルを用いた新たな反射特性モデル、単一画像からの反射特性と光源状況の復元、主に水中を含む物体のより精確な3次元幾何形状の復元手法、ならびに水面反射による形状復元手法の導出を行い、これら研究成果の国際会議投稿と発表をおこなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画通り、二年目となる令和元年度は初年度の認識に基づく復元に関する研究成果を基盤とし、さらに復元に基づく認識につなげるための研究に注力した。特に、より精確な物体反射特性の復元とその過程における深層学習ネットワークを用いた生成モデルと認識モデルの統合的利用法の導出をおこなった。具体的には、実世界物体の反射特性をFlowモデルと呼ばれる可逆深層ネットワークとして表現し、それらの変数を駆動する低次元射影空間を推定できることを示した。さらに、初期化された深層認識ネットワークを用いて光源状況を表現することにより(deep image prior)、滑らかかつ実世界特徴をとらえた光源分布を復元できることを示した。これらの生成モデルと事前確率分布を組み込んだ反射特性と光源状況の同時推定をおこなうベイズ推定の枠組みを導出し、実際に実画像に適用することによりその精度を検証した。この手法を用いた単一画像からの反射特性と光源状況推定は、過去の他の手法に比べて圧倒的に精度が高く、これらの結果をまとめてコンピュータビジョンの国際会議に投稿した。さらに物体形状復元手法として、水を媒体としてその近赤外光の吸収特性を利用した水中物体幾何形状の法専を含めた精緻な復元、さらに水面における光の反射を利用した屋外物体の3次元形状およびハイダイナミックな見えの復元手法を導出し、国際会議において発表した。これらの成果もより精緻な復元による認識につながり、計算機視覚の豊かさに貢献する。
|
| Strategy for Future Research Activity |
最終年度となる令和2年度は、研究計画に基づき、前年度成果のさらなる拡張を、特に複数枚画像列の利用に着目し進める。複数視点から得られる情報の形状、反射特性、および光源状況のより精緻な復元に活用する手法の導出にとどまらず、動的な光景における動き場の精度の高い推定にもつなげるべく、今年度注力したような認識モデル(深層学習ネットワーク)の復元モデル(深層生成モデルや微分可能な生成モデル)の統合法の導出を行う予定である。さらに、前年度に大きな成果を上げた、水中物体の3次元形状復元に関しても、複数枚画像から得られる動的物体の個別の3次元形状の統合手法の導出もおこなう予定である。
|
Research Products
(4 results)
