Advancement of diminished reality based on fusion of inpainting and observation

2021 Fiscal Year Final Research Report

• Project/Area Number: 18H03273
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: Osaka Institute of Technology (2020-2021); Nara Institute of Science and Technology (2018-2019)
• Principal Investigator: Kawai Norihiko 大阪工業大学, 情報科学部, 准教授 (30610670)
• Co-Investigator(Kenkyū-buntansha): 酒田 信親 龍谷大学, 先端理工学部, 准教授 (40452411) ; 佐藤 智和 滋賀大学, データサイエンス学部, 教授 (50362835) ; 清川 清 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (60358869) ; 中島 悠太 大阪大学, データビリティフロンティア機構, 准教授 (70633551)
• Project Period (FY): 2018-04-01 – 2022-03-31
• Keywords: 隠消現実感 / 画像修復 / 画像合成 / 不要物消去

Outline of Final Research Achievements

In this research project, in order to realize diminished reality that visually removes unwanted objects from real-time camera images in various environments, we developed methods of image inpainting that estimates the invisible background and methods of observation that actually photographs and combines the background, respectively. We also developed a method of diminished reality that combines image inpainting and observation. In addition, we developed systems that applies diminished reality.
In order to demonstrate the effectiveness of each developed method, we verified them using images that can be acquired by various cameras such as omnidirectional cameras that capture omnidirectional images and RGB-D cameras that acquire color and depth images as well as ordinary cameras.

Free Research Field

画像処理、コンピュータビジョン、拡張現実感、複合現実感、バーチャルリアリティ

Academic Significance and Societal Importance of the Research Achievements

現実世界に新たなCGなどを追加し情報をよりわかりやすく提示できる拡張現実感や人間の能力をコンピュータによって拡張する人間拡張において、物体を映像から消去したり減衰させたりする隠消現実感は必要不可欠な要素技術であり、現実の様々なシーンで不要物を視覚的に違和感なく消去することが望まれる。本研究ではこの課題に対して、様々な手法の開発により、従来手法では難しかった様々なシーンにおいて、違和感のない物体の消去を実現し、今後の拡張現実・人間拡張の進歩に大きく貢献する成果を挙げた。