2023 Fiscal Year Annual Research Report
omni-directional image generation from snapshot image
| Project/Area Number |
21K11943
|
|---|
| Research Institution | Sophia University |
|---|
Principal Investigator |
山中 高夫 上智大学, 理工学部, 准教授 (20433790)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 全天球画像 / 全天球カメラ / 360°画像 / 画像生成 / 画像外挿 / GAN / 仮想現実感 |
|---|
| Outline of Annual Research Achievements |
本研究では，通常のスナップ写真から全天球画像を生成する課題を研究対象とした。本年度は、(1) VQVAE (Vector Quantized Variational AutoEncoder)の事前学習モデルを用いた2ステージ型生成モデル、および(2) 全天球画像生成に適した画像表現形式について検討した。(1)では、通常の平面画像で学習されたVQVAEのエンコーダとデコーダを全天球画像生成にそのまま活用する手法を検討した。全天球画像を正距円筒図法で表現すると、上部と下部に大きな歪が生じる。VQVAEの事前学習モデルはそのような歪を表現できないので、そのまま正距円筒図法の全天球画像生成に適用することは難しい。そこで、本研究では全天球画像を様々な方向のパッチに分けて生成し、それらを統合して生成する手法を開発した。各方向で生成したパッチが統一のコンセプトを持つように、2ステージ型の構造にして、1段目では大まかな全天球画像全体を正距円筒図法で生成し、2段目で詳細な画像をパッチに分けて生成した。それにより、全天球画像全体で連続的で詳細な画像を生成することが可能になった。これらの成果は、査読付き国際会議に投稿中である。(2)では、全天球画像生成に適した画像表現形式について検討した。全天球画像は、通常、正距円筒図法やCubeMap図法で表現される。しかし、正距円筒図法では、上部と下部で大きな歪が発生する。また、CubeMap図法でも、各面の端で歪が生じる。そこで、球を多角柱に投影する表現形式を提案し、その図法を活用した全天球画像生成を検討した。その結果、正距円筒図法とCubeMap図法の間のバランスを調整した生成が可能であることがわかった。
|
