Active Light Fields for Image Understanding, Recognition, and Synthesis

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H01766
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: Okabe Takahiro 九州工業大学, 大学院情報工学研究院, 教授 (00396904)
• Co-Investigator(Kenkyū-buntansha): 佐藤 洋一 東京大学, 生産技術研究所, 教授 (70302627) ; 佐藤 いまり 国立情報学研究所, コンテンツ科学研究系, 教授 (50413927) ; 天野 敏之 和歌山大学, システム工学部, 教授 (60324472)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: コンピュータビジョン / コンピュテーショナルフォトグラフィ / コンピュテーショナルイルミネーション / 光線空間（ライトフィールド）

Outline of Final Research Achievements

We studied active illumination using high degrees of freedom (DoF) lighting system termed “active light fields” for image understanding, recognition, and synthesis. This approach makes use of high DoF lighting systems such as a multi-layer display, a DLP projector (and a high speed camera), and a multi-spectral light stage, and controls the positions, directions, and wavelengths of light sources illuminating an object of interest so that we can obtain input images useful/optimal for specific task of image understanding, recognition, and synthesis. We built/used such high DoF lighting systems and developed novel image processing algorithms, and then achieved multispectral global-direct separation, reflective-fluorescent separation, material classification with optimal illumination, and image-based relighting with 5D incident light fields.

Free Research Field

情報学

Academic Significance and Societal Importance of the Research Achievements

光線空間に関する従来の研究は，光線空間の計測に関するもの（例えばカメラアレイによる光線空間の計測），計測した光線空間の利用に関するもの（例えば光線空間に基づくコンピュータビジョン），および，光線空間の生成に関するもの（例えば3次元ディスプレイのための光線空間の生成）に分類することができる．本研究の学術的意義は，我々が能動光線空間と呼ぶ，シーンを照らす照明として光線空間を利用するという新たな方法論の確立に貢献したことである．また，本研究の社会的意義として，材質識別などの画像認識技術の外観検査への応用や再照明などの画像生成技術の質感編集への応用が挙げられる．