omni-directional image generation from snapshot image

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11943
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Sophia University
• Principal Investigator: Yamanaka Takao 上智大学, 理工学部, 准教授 (20433790)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: コンピュータビジョン / 画像生成 / 全天球画像 / 360°画像 / 敵対的生成ネットワーク(GAN) / VQGAN

Outline of Final Research Achievements

In this study, we focused on the challenge of generating omni-directional images from regular snapshot photos. Omni-directional images capture the entire surroundings simultaneously, making them useful for creating contents in virtual reality (VR) and augmented reality (AR). Since capturing omni-directional images typically requires a specialized camera, which can be a barrier to widespread adoption, our research aims to establish methods for generating omni-directional images from ordinary photographs. We propose techniques to enhance the diversity of generated omni-directional images, image representations suitable for omni-directional image generation, and an efficient and accurate generation method using the pre-trained VQGAN codebook. These methods improve the diversity, details, and efficiency of the generated images.

Free Research Field

知覚情報処理

Academic Significance and Societal Importance of the Research Achievements

学術的な意義として、画像生成技術の進歩が挙げられる。提案した手法により、通常の写真から生成された全天球画像の多様性、精細さ、効率性を向上できた。同様のアプローチを様々な画像生成タスクに還元できると考えられる。例えば、画像の超解像やInpainting, Outpaintingなどのタスクでほぼ同様の手法を活用できる。また、本研究により全天球画像の応用範囲が広がり、幅広い応用研究につながると考えられる。社会的意義として、仮想現実感や拡張現実感の普及、観光地や文化遺産のデジタル化などに寄与し、特定の場所を訪れていない人にも、その美しさや歴史的価値を伝えることが可能になることが挙げられる。