Real-Time Outdoor Image Generation using Non-visual Sensing Information

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K12019
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Osaka University
• Principal Investigator: Naoko Nitta 大阪大学, 工学研究科, 准教授 (00379132)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 画像変換 / 画像生成 / 非視覚センサ / 屋外環境センシング / 深層学習

Outline of Final Research Achievements

The goal of this research is to develop a technique for generating pseudo outdoor images captured at arbitrary times and locations by transforming an outdoor image captured at a specific location according to the non-visual signals captured by a weather sensor. To achieve this, we have proposed a method for collecting a small number of consistent pairs of outdoor images and weather sensor signals, and methods for training networks for transforming a distant view containing sky and ground and a close-to-mid range view containing persons by utilizing more easily available large-scale datasets of outdoor images or fashion images.

Free Research Field

知覚情報処理

Academic Significance and Societal Importance of the Research Achievements

本研究は、近年盛んに研究されている敵対的生成ネットワークを、視覚センサと非視覚センサという2つの異なる特性を持ったセンサから得られる生の観測情報に適用することにより、疑似的な視覚センサによる観測情報を生成する試みである。特に、ネットワークの学習データとして、誤った情報となるノイズを多く含むデータしか得られないという問題に対し、同じ環境を観測するセンサの観測情報に存在すべき整合性などを考慮した上で、他のより入手が容易なデータを補完的に用いることにより、学習が適切に行われることを実験的に検証し、画像生成技術のセンシング応用への可能性を示した。