| Project/Area Number |
21K11943
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Sophia University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | コンピュータビジョン / 画像生成 / 全天球画像 / 360°画像 / 敵対的生成ネットワーク(GAN) / VQGAN / 全天球カメラ / 画像外挿 / GAN / 仮想現実感 / cGAN / 深層学習 / 条件付き畳み込み層 |
|---|
| Outline of Research at the Start |
本研究では，単一もしくは複数のスナップ写真から周りの状況を補間して自然な全天球画像を生成する方法の確立を目的とする。全天球画像とは，カメラの全方向を同時に撮影して得られる画像のことで，仮想現実感(VR)や拡張現実感(AR)のコンテンツを作成する際に利用される。広く普及している通常のカメラを使って全天球画像を生成できると，例えば，複数の観光名所を要約したような全天球画像の生成や，すでに撮影された2次元動画からそれらの状況を含むような3次元空間の再現などに応用できる。
|
| Outline of Final Research Achievements |
In this study, we focused on the challenge of generating omni-directional images from regular snapshot photos. Omni-directional images capture the entire surroundings simultaneously, making them useful for creating contents in virtual reality (VR) and augmented reality (AR). Since capturing omni-directional images typically requires a specialized camera, which can be a barrier to widespread adoption, our research aims to establish methods for generating omni-directional images from ordinary photographs. We propose techniques to enhance the diversity of generated omni-directional images, image representations suitable for omni-directional image generation, and an efficient and accurate generation method using the pre-trained VQGAN codebook. These methods improve the diversity, details, and efficiency of the generated images.
|
| Academic Significance and Societal Importance of the Research Achievements |
学術的な意義として、画像生成技術の進歩が挙げられる。提案した手法により、通常の写真から生成された全天球画像の多様性、精細さ、効率性を向上できた。同様のアプローチを様々な画像生成タスクに還元できると考えられる。例えば、画像の超解像やInpainting, Outpaintingなどのタスクでほぼ同様の手法を活用できる。また、本研究により全天球画像の応用範囲が広がり、幅広い応用研究につながると考えられる。社会的意義として、仮想現実感や拡張現実感の普及、観光地や文化遺産のデジタル化などに寄与し、特定の場所を訪れていない人にも、その美しさや歴史的価値を伝えることが可能になることが挙げられる。
|
