Dynamic projection mapping for live human face augmentation

2020 Fiscal Year Final Research Report

• Project/Area Number: 17H04691
• Research Category: Grant-in-Aid for Young Scientists (A)
• Allocation Type: Single-year Grants
• Research Field: Human interface and interaction
• Research Institution: Osaka University
• Principal Investigator: Iwai Daisuke 大阪大学, 基礎工学研究科, 准教授 (90504837)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Keywords: プロジェクションマッピング / プロジェクタ・カメラ系 / 拡張現実感 / 人間拡張

Outline of Final Research Achievements

There are three major achievements of this project. First, this project realized a projection mapping onto moving face at an imperceptibly short delay (~10 ms) using a high-speed projector. Second, it realized spatial focus control and zooming of real world for human vision by combining electrically focus tunable lenses and a synchronized high-speed projector. Third, it developed a fast and accurate blur compensation of projected imagery onto non-planar surface by applying deep learning technology.

Free Research Field

拡張現実感

Academic Significance and Societal Importance of the Research Achievements

本研究では、バーチャルな化粧、対人コミュニケーション支援、演劇などでの活用、といった拡張現実アプリケーションをを支える基盤技術として、人の顔へのプロジェクションマッピングに関する技術開発を実施した。研究期間では、当初目標を早期に達成したあと、その技術の根幹となる高速プロジェクタ（1秒間に1,000枚の映像を切り替えられる）の新たな活用法を考案することができた。具体的には、身の回りのシーンの特定の領域だけをボケさせる技術を実現した。これによって、自然に視線を誘導したり、みたくないものを隠す事ができるようになり、我々の生活を下支えする新たな拡張現実アプリケーションの実現可能性を示すことができた。