Appearance Editing of Dynamic objects with a Real-Time ProCam System

• Project/Area Number: 25330230
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: The University of Electro-Communications
• Principal Investigator: Hashimoto Naoki 電気通信大学, 情報理工学(系)研究科, 准教授 (70345354)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Project Status: Completed (Fiscal Year 2015)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2015: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2014: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2013: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
• Keywords: 空間型拡張現実感 / バーチャルリアリティ / 映像投影 / プロジェクションマッピング / 空間型AR / 空間投影型AR / 動的物体 / 遅延補償 / 光学的補正 / 実時間追跡 / 深度カメラ

Outline of Final Research Achievements

In this research, for high-quality dynamic appearance editing, we achieved precise photometric compensation method based on sub-pixel level geometrical calibration, and dynamic spatial augmented reality system with real-time pose estimation with ICP and particle filter. We also provide easy light-source estimation in the real-world and adaptive deblurring of image projection on multiple targets.

Research Products

• [Journal Article] Dynamic Spatial Augmented Reality by Using Real-Time Object Tracking with a Depth Sensor (2016)
  • Author(s): 小林 大祐，小泉 諒，橋本 直己
  • Journal Title: 電子情報通信学会論文誌D 情報・システム Volume: J99-D Issue: 3 Pages: 264-272
  • DOI: 10.14923/transinfj.2015PDP0015
  • ISSN: 1880-4535, 1881-0225
  • Year and Date: 2016-03-01
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] A Method of Time-Delay Compensation for Dynamic Projection Mapping (2015)
  • Author(s): 酒巻 祥平，橋本 直己
  • Journal Title: The Journal of The Institute of Image Information and Television Engineers Volume: 69 Issue: 9 Pages: J278-J284
  • DOI: 10.3169/itej.69.J278
  • NAID: 130005094592
  • ISSN: 1342-6907, 1881-6908
  • Peer Reviewed / Open Access
• [Journal Article] Photometric Registration for Augmented Reality by Estimating Surface Reflectance of Unspecified Objects (2014)
  • Author(s): 石田 左句，橋本 直己
  • Journal Title: The Journal of The Institute of Image Information and Television Engineers Volume: 68 Issue: 7 Pages: J320-J322
  • DOI: 10.3169/itej.68.J320
  • NAID: 130004497305
  • ISSN: 1342-6907, 1881-6908
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Presentation] Acceleration of Dynamic Spatial Augmented Reality System (2015)
  • Author(s): Ryo Koizumi, Daisuke Kobayashi, Naoki Hashimoto
  • Organizer: CyberWorlds2015
  • Place of Presentation: Gotland, Sweden
  • Year and Date: 2015-10-07
  • Int'l Joint Research
• [Presentation] Depth Map Super-Resolution for Cost-Effective RGB-D Camera (2015)
  • Author(s): Ryotaro Takaoka, Naoki Hashimoto
  • Organizer: CyberWorlds2015
  • Place of Presentation: Gotland, Sweden
  • Year and Date: 2015-10-07
  • Int'l Joint Research
• [Presentation] Photometric Compensation for Practical and Complex Textures (2015)
  • Author(s): Naoki Hashimoto, Koki Kosaka
  • Organizer: SIGGRAPH2015
  • Place of Presentation: LosAngeles, USA
  • Year and Date: 2015-08-09
  • Int'l Joint Research
• [Presentation] 非装着型視点追跡による３Dプロジェクションマッピングの実現 (2015)
  • Author(s): 浜口祐希，橋本直己
  • Organizer: 映像情報メディア学会 メディア工学研究会
  • Place of Presentation: 関東学院大学，横浜
  • Year and Date: 2015-02-28
• [Presentation] 深度カメラを用いた動的な空間型ARシステムの高速化 (2015)
  • Author(s): 小泉諒，小林大祐，橋本直己
  • Organizer: 映像情報メディア学会 メディア工学研究会
  • Place of Presentation: 関東学院大学，横浜
  • Year and Date: 2015-02-28
• [Presentation] 動的環境におけるマルチプロジェクションシステムによる映像補正 (2015)
  • Author(s): 吉田卓矢，橋本直己
  • Organizer: 映像情報メディア学会 メディア工学研究会
  • Place of Presentation: 北海道大学
  • Year and Date: 2015-02-23 – 2015-02-24
• [Presentation] 動的なプロジェクションマッピングにおける遅延補償手法 (2015)
  • Author(s): 酒巻祥平，橋本直己
  • Organizer: 映像情報メディア学会 メディア工学研究会
  • Place of Presentation: 北海道大学
  • Year and Date: 2015-02-23 – 2015-02-24
• [Presentation] 高速な輝度補正と人型３Dモデルの投影によるバーチャル着せ替えシステム (2015)
  • Author(s): 小川智史，橋本直己
  • Organizer: 映像情報メディア学会 メディア工学研究会
  • Place of Presentation: 北海道大学
  • Year and Date: 2015-02-23 – 2015-02-24
• [Presentation] Spatial Augmented Reality by Using Depth-Based Object Tracking (2014)
  • Author(s): Daisuke Kobayashi, Naoki Hashimoto
  • Organizer: ACM SIGGRAPH2014
  • Place of Presentation: Los Angeles, USA
  • Year and Date: 2014-08-10 – 2014-08-14
• [Presentation] A Highly Accurate Photometric Compensation by Considering Indirect Reflected Light (2014)
  • Author(s): Takuya Yoshida，Naoki Hashimoto
  • Organizer: IWAIT2014
  • Place of Presentation: Bangkok
• [Presentation] Predictive Projection for Dynamic Projection Mapping (2014)
  • Author(s): Shohei Sakamaki，Naoki Hashimoto
  • Organizer: IWAIT2014
  • Place of Presentation: Bangkok
• [Presentation] 深度カメラを用いた実時間姿勢追跡に基づく動的な空間型ARの実現 (2014)
  • Author(s): 小林大祐，橋本直己
  • Organizer: 映像情報メディア学会メディア工学研究会
  • Place of Presentation: 横浜
• [Presentation] 動的物体への映像投影における焦点ボケの解消 (2014)
  • Author(s): 田代茜，齋藤仙典，小川智史，橋本直己
  • Organizer: 映像情報メディア学会メディア工学研究会
  • Place of Presentation: 横浜
• [Presentation] ARにおける任意物体の反射特性推定を用いた光学的整合性の実現 (2014)
  • Author(s): 石田佐句，橋本直己
  • Organizer: 映像情報メディア学会メディア工学研究会
  • Place of Presentation: 横浜
• [Presentation] Time-Delay Compensation for Dynamic Projection Mapping (2013)
  • Author(s): Shohei Sakamaki, Naoki Hashimoto
  • Organizer: SIGGRAPH Asia 2013
  • Place of Presentation: Hong Kong
• [Patent(Industrial Property Rights)] プロジェクションマッピング装置、遅延補償装置、遅延補償方法および遅延補償プログラム (2015)
  • Inventor(s): 橋本 直己，酒巻 祥平
  • Industrial Property Rights Holder: 橋本 直己，酒巻 祥平
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2015-027751
  • Filing Date: 2015-02-16
• [Patent(Industrial Property Rights)] プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム (2015)
  • Inventor(s): 橋本 直己，小林 大祐，小泉 諒
  • Industrial Property Rights Holder: 橋本 直己，小林 大祐，小泉 諒
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2015-030575
  • Filing Date: 2015-02-19