• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Dynamic projection mapping for live human face augmentation

Research Project

Project/Area Number 17H04691
Research Category

Grant-in-Aid for Young Scientists (A)

Allocation TypeSingle-year Grants
Research Field Human interface and interaction
Research InstitutionOsaka University

Principal Investigator

Iwai Daisuke  大阪大学, 基礎工学研究科, 准教授 (90504837)

Project Period (FY) 2017-04-01 – 2021-03-31
Project Status Completed (Fiscal Year 2020)
Budget Amount *help
¥23,530,000 (Direct Cost: ¥18,100,000、Indirect Cost: ¥5,430,000)
Fiscal Year 2020: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2019: ¥9,360,000 (Direct Cost: ¥7,200,000、Indirect Cost: ¥2,160,000)
Fiscal Year 2018: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2017: ¥7,930,000 (Direct Cost: ¥6,100,000、Indirect Cost: ¥1,830,000)
Keywordsプロジェクションマッピング / プロジェクタ・カメラ系 / 拡張現実感 / 人間拡張
Outline of Final Research Achievements

There are three major achievements of this project. First, this project realized a projection mapping onto moving face at an imperceptibly short delay (~10 ms) using a high-speed projector. Second, it realized spatial focus control and zooming of real world for human vision by combining electrically focus tunable lenses and a synchronized high-speed projector. Third, it developed a fast and accurate blur compensation of projected imagery onto non-planar surface by applying deep learning technology.

Academic Significance and Societal Importance of the Research Achievements

本研究では、バーチャルな化粧、対人コミュニケーション支援、演劇などでの活用、といった拡張現実アプリケーションをを支える基盤技術として、人の顔へのプロジェクションマッピングに関する技術開発を実施した。研究期間では、当初目標を早期に達成したあと、その技術の根幹となる高速プロジェクタ(1秒間に1,000枚の映像を切り替えられる)の新たな活用法を考案することができた。具体的には、身の回りのシーンの特定の領域だけをボケさせる技術を実現した。これによって、自然に視線を誘導したり、みたくないものを隠す事ができるようになり、我々の生活を下支えする新たな拡張現実アプリケーションの実現可能性を示すことができた。

Report

(5 results)
  • 2020 Annual Research Report   Final Research Report ( PDF )
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • 2017 Annual Research Report
  • Research Products

    (26 results)

All 2021 2020 2019 2018 2017 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results) Presentation (20 results) (of which Int'l Joint Research: 3 results,  Invited: 14 results)

  • [Int'l Joint Research] Princeton University(米国)

    • Related Report
      2017 Annual Research Report
  • [Int'l Joint Research] Disney Research Zurich(スイス)

    • Related Report
      2017 Annual Research Report
  • [Journal Article] Dynamic Projection Mapping with a Pixel-Matching Projector-Camera System2021

    • Author(s)
      山本 健太, 岩井 大輔, 佐藤 宏介
    • Journal Title

      Transactions of the Virtual Reality Society of Japan

      Volume: 26 Issue: 1 Pages: 107-116

    • DOI

      10.18974/tvrsj.26.1_107

    • NAID

      130008014100

    • ISSN
      1344-011X, 2423-9593
    • Related Report
      2020 Annual Research Report
  • [Journal Article] ProDebNet: projector deblurring using a convolutional neural network2020

    • Author(s)
      Yuta Kageyama, Mariko Isogawa, Daisuke Iwai, Kosuuke Sato
    • Journal Title

      Optics Express

      Volume: 28 Issue: 14 Pages: 20391-20391

    • DOI

      10.1364/oe.396159

    • Related Report
      2020 Annual Research Report
  • [Journal Article] Illuminated Focus: Vision Augmentation using Spatial Defocusing via Focal Sweep Eyeglasses and High-Speed Projector2020

    • Author(s)
      Tatsuyuki Ueda, Daisuke Iwai, Takefumi Hiraki, Kosuke Sato
    • Journal Title

      IEEE Transactions on Visualization and Computer Graphics

      Volume: 26 Issue: 5 Pages: 2051-2061

    • DOI

      10.1109/tvcg.2020.2973496

    • Related Report
      2019 Annual Research Report
  • [Journal Article] Makeup Lamps: Live Augmentation of Human Faces via Projection2017

    • Author(s)
      Amit H. Bermano, Markus Billeter, Daisuke Iwai, Anselm Grundhoefer
    • Journal Title

      Computer Graphics Forum

      Volume: 36 Issue: 2 Pages: 311-323

    • DOI

      10.1111/cgf.13128

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] A Projector-Camera System Using Hybrid Pixels with Projection and Capturing Capabilities2020

    • Author(s)
      Kenta Yamamoto, Daisuke Iwai, and Kosuke Sato
    • Organizer
      International Display Workshops
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ProDebNet: 畳み込みニューラルネットワークによる投影ボケ補償2020

    • Author(s)
      影山雄太, 五十川麻理子, 岩井大輔, 佐藤宏介,
    • Organizer
      第23回画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 撮像一体型有機ELデバイスを用いた画素一致プロジェクタ-カメラシステムの構築2020

    • Author(s)
      山本健太, 岩井大輔, 佐藤宏介
    • Organizer
      第64回システム制御情報学会研究発表講演会 (SCI'20)
    • Related Report
      2020 Annual Research Report
  • [Presentation] プロジェクションマッピングによる映像と照明の融合2020

    • Author(s)
      岩井大輔
    • Organizer
      2019年度第7回JLEDSセミナー (特定非営利活動法人LED照明推進協議会)
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピングにおける3D技術活用2020

    • Author(s)
      岩井大輔
    • Organizer
      令和2年度第1回3D技術活用セミナー (京都府中小企業技術センター)
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] IlluminatedFocus: Vision Augmentation using Spatial Defocusing2019

    • Author(s)
      Tatsuyuki Ueda, Daisuke Iwai, Kosuke Sato
    • Organizer
      ACM SIGGRAPH ASIA 2019 Emerging Technologies
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 高自由度照明技術としてのプロジェクションマッピング2019

    • Author(s)
      岩井大輔
    • Organizer
      2019年度第2回JLEDSセミナー (特定非営利活動法人LED照明推進協議会)
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 融合における映像技術の課題2019

    • Author(s)
      岩井大輔
    • Organizer
      照明学会 公開シンポジウム「映像との融合で拡がる照明の可能性」
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピング研究の最新動向2019

    • Author(s)
      岩井大輔
    • Organizer
      電気硝子工業会第52回技術セミナー
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピングによる身体拡張2019

    • Author(s)
      岩井大輔
    • Organizer
      日本光学会年次学術講演会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 高速プロジェクタと可変焦点レンズを用いた空間非一様な焦点ボケ操作による拡張現実感2018

    • Author(s)
      上田龍幸, 岩井大輔, 佐藤宏介
    • Organizer
      第23回日本バーチャルリアリティ学会大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 高速プロジェクタと可変焦点レンズを用いた空間的に非一様な合焦距離変調2018

    • Author(s)
      上田龍幸, 井澤英俊, 岩井大輔, 佐藤宏介
    • Organizer
      第62回システム制御情報学会研究発表講演会
    • Related Report
      2018 Annual Research Report
  • [Presentation] プロジェクションマッピング研究の最新動向2018

    • Author(s)
      岩井大輔
    • Organizer
      電子情報通信学会 パターン認識・メディア理解研究会 (PRMU)
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピングを支える画像処理技術2018

    • Author(s)
      岩井大輔
    • Organizer
      JPC関西定例講演会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピング研究の最前線 (State-of-the-Art on Projection Mapping Research)2017

    • Author(s)
      岩井大輔
    • Organizer
      IEEE Sapporo Section/電子情報通信学会北海道支部共同主催講演会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] 表面質感を変えるプロジェクションマッピング2017

    • Author(s)
      岩井大輔
    • Organizer
      日本表面科学会関西支部主催 第19回市民講座
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] Computational Projection Display for AR/VR2017

    • Author(s)
      Daisuke Iwai
    • Organizer
      International Meeting on Information Display
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] プロジェクションマッピングの3D表現2017

    • Author(s)
      岩井大輔
    • Organizer
      日本光学会 情報フォトニクス研究グループ 3D Displays and Devices WG研究会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピング研究の基礎と最新動向2017

    • Author(s)
      岩井大輔
    • Organizer
      可視光半導体レーザー応用コンソーシアム 新規アプリ専門委員会
    • Related Report
      2017 Annual Research Report
    • Invited
  • [Presentation] プロジェクションマッピング研究の基盤技術と応用展開2017

    • Author(s)
      岩井大輔
    • Organizer
      日本色彩学会 視覚情報基礎研究会
    • Related Report
      2017 Annual Research Report
    • Invited

URL: 

Published: 2017-04-28   Modified: 2022-08-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi