Fusion of reality and unreality brought by deep shitsukan

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05959
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Institute of Science Tokyo
• Principal Investigator: 渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥72,020,000 (Direct Cost: ¥55,400,000、Indirect Cost: ¥16,620,000); Fiscal Year 2024: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2023: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2022: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2021: ¥14,430,000 (Direct Cost: ¥11,100,000、Indirect Cost: ¥3,330,000); Fiscal Year 2020: ¥11,960,000 (Direct Cost: ¥9,200,000、Indirect Cost: ¥2,760,000)
• Keywords: 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ

Outline of Research at the Start

深奥質感は、人の価値判断・情動・行動に作用する。本研究では、この深奥質感を変容しうるレベルのリアリティを、実世界上の目の前の実体上に創造する。同目標を、人に接触することなく、環境側に設置された技術のみによって達成する。本研究では、まず表層質感の再現限界を超える。また、生来の視覚機能では捉えられない質感世界を実体上に可視化することで、人の認識行動の強化を図る。さらに、モノから場へと範囲を広げることで、人の行動と協調する質感操作を明らかにする。以上3つのかつてないレベルの質感操作技術によって、最終的に深奥質感の変容に挑む。

Outline of Annual Research Achievements

本年度は、観測・環境に整合するモノの質感再現として、ダイナミックプロジェクションマッピングにおける遅延の知覚に関する研究に取り組んだ。具体的には、特に顔を投影対象として、知覚遅延のJust-Noticeable Difference（JND）を被験者実験を介して調査した。結果として、顔の動きの種類とその速度によって、知覚される位置ずれが異なることを示した。また、これまでの主流となっていた遅延要件よりも、短い遅延によるずれを知覚できることが分かった。
また、場の質感操作として、通常のプロジェクションマッピングと光線制御可能な照明を組み合わせる手法を提案した。本手法では、光線制御可能な照明を用いて、プロジェクションマッピングの対象に届く光線をその形に合わせて正確に消灯する。さらに、それ以外の光線を点灯させることで、投影対象だけに照明が当たらず、周囲の環境は自然で明るい状態を再現することができる。この構成下で、投影対象に通常のプロジェクションマッピングを適用することで、明るい自然な環境を作り出しつつ、高いコントラストでマッピングによる外観操作を実現した。
さらに、本研究全体で重要な役割を果たしている高速プロジェクタについて、そのフレームレートをさらに高める研究を進めた。提案手法は、画像のビット深度を複数のプロジェクタに分割し、それらを同時に同期して投影するものである。同時に投影される低階調の複数画像が重畳されることで、高階調の画像を非常に短い時間で再現できるため、プロジェクタの台数に比例して、フレームレートを増加させることができる。また最大輝度を達成するように、システム構成を最適化する混合整数非線形計画問題に基づく解法も新たに提案した。2台の高フレームレートプロジェクタを用いたシステムを構築した結果、8ビットの画像を5,600fpsのフレームレートで投影できることを確認した。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初予定していた計画に加えて、ダイナミックプロジェクションマッピングにおける知覚遅延に関して新たな知見を得るとともに、超高速プロジェクタを実現することができた。以上より、当初の計画以上に進展していると判断した。

Strategy for Future Research Activity

最終年度の研究として、これまでに実現した研究成果に残された課題を解決し、研究構想の完成を目指す。

Research Products

• [Journal Article] Projection Mapping with a Brightly Lit Surrounding Using a Mixed Light Field Approach (2024)
  • Author(s): Yasui Masahiko、Iwataki Ryota、Ishikawa Masatoshi、Watanabe Yoshihiro
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 30 Issue: 5 Pages: 2217-2227
  • DOI: 10.1109/tvcg.2024.3372132
  • Peer Reviewed
• [Journal Article] Dynamic depth-of-field projection mapping method based on a variable focus lens and visual feedback (2023)
  • Author(s): Lihui Wang, Satoshi Tabata, Hongjin Xu, Yunpu Hu, Yoshihiro Watanabe, Masatoshi Ishikawa
  • Journal Title: Optics Express Volume: Vol.31 Issue: 3 Pages: 3945-3953
  • DOI: 10.1364/oe.478416
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] ダイナミックプロジェクションマッピングの作り方と使い方 (2023)
  • Author(s): 渡辺 義浩
  • Journal Title: 電子情報通信学会誌 Volume: 106 Pages: 149-154
• [Journal Article] 高速性を追及するダイナミックプロジェクションマッピングの基盤と実践 (2023)
  • Author(s): 渡辺 義浩
  • Journal Title: 光学 Volume: 52 Pages: 30-35
• [Journal Article] Shaping Reality Through Dynamic Projection Mapping (2022)
  • Author(s): 渡辺 義浩
  • Journal Title: NIHON GAZO GAKKAISHI (Journal of the Imaging Society of Japan) Volume: 61 Issue: 1 Pages: 14-21
  • DOI: 10.11370/isj.61.14
  • NAID: 130008159498
  • ISSN: 1344-4425, 1880-4675
  • Year and Date: 2022-02-10
• [Journal Article] 高速プロジェクタとダイナミックプロジェクションマッピングの進化 (2022)
  • Author(s): 渡辺 義浩
  • Journal Title: 映像情報メディア学会誌 Volume: 76 Pages: 322-326
• [Journal Article] Dynamic Multi-projection Mapping Based on Parallel Intensity Control (2022)
  • Author(s): Nomoto Takashi, Li Wanlong, Peng Hao-Lun, and Watanabe Yoshihiro
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 28 Issue: 5 Pages: 2125-2134
  • DOI: 10.1109/tvcg.2022.3150488
  • Peer Reviewed
• [Journal Article] Extended depth-of-field projection method using a high-speed projectorwith a synchronized oscillating variable-focus lens (2021)
  • Author(s): Xu Hongjin, Wang Lihui, Tabata Satoshi, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • Journal Title: Applied Optics Volume: 60 Issue: 13 Pages: 3917-3917
  • DOI: 10.1364/ao.419470
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation (2021)
  • Author(s): Peng Hao-Lun and Watanabe Yoshihiro
  • Journal Title: Applied Sciences Volume: 11 Issue: 9 Pages: 3753-3753
  • DOI: 10.3390/app11093753
  • Peer Reviewed / Open Access
• [Journal Article] Wide viewing angle with a downsized system in projection-type integral photography by using curved mirrors (2021)
  • Author(s): Yasui Masahiko, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • Journal Title: Optics Express Volume: 29 Issue: 8 Pages: 12066-12066
  • DOI: 10.1364/oe.418729
  • Peer Reviewed / Open Access
• [Presentation] ダイナミックプロジェクションマッピングによる質感の模倣とその先 (2024)
  • Author(s): 渡辺義浩
  • Organizer: 質感のつどい 第７回公開フォーラム
  • Invited
• [Presentation] Transforming Experience in Real World with Dynamic Projection Mapping (2023)
  • Author(s): Yoshihiro Watanabe
  • Organizer: The 30th International Display Workshops
  • Int'l Joint Research / Invited
• [Presentation] Augmented Real-world Interaction with High-speed Vision and Projection (2023)
  • Author(s): Yoshihiro Watanabe
  • Organizer: The 6th International Conference on Intelligent Robotics and Control Engineering
  • Int'l Joint Research / Invited
• [Presentation] 色補償を用いたプロジェクションマッピングによる顔の年齢変容に関する検討 (2023)
  • Author(s): 袁 Lu，彭 浩倫，林 隆介，渡辺 義浩
  • Organizer: 第28回バーチャルリアリティ学会大会
• [Presentation] 観測視点・対象運動・投影解像度に応じて計算負荷を削減するパストレーシング型ダイナミックプロジェクションマッピング (2023)
  • Author(s): 羽山 大智，宮本 駿一，渡辺 義浩
  • Organizer: 第28回バーチャルリアリティ学会大会
• [Presentation] 投影型錯視に基づくエアホッケーの知覚操作の体験向上に向けた検討 (2023)
  • Author(s): 村田 有生喜，佐藤 健吾，寺島 裕貴，西田 眞也，渡辺 義浩
  • Organizer: 第28回バーチャルリアリティ学会大会
• [Presentation] 輝度と色の遅延知覚の違いとその投影型見かけ操作への応用に関する検討 (2023)
  • Author(s): 樊 錦元，天野 敏之，渡辺 義浩
  • Organizer: 第28回バーチャルリアリティ学会大会
• [Presentation] Studying User Perceptible Misalignment in Simulated Dynamic Facial Projection Mapping (2023)
  • Author(s): Hao-Lun Peng, Shin'ya Nishida, and Yoshihiro Watanabe
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] High-Frame-Rate Projection with Thousands of Frames Per Second Based on the Multi-Bit Superimposition Method (2023)
  • Author(s): Soran Nakagawa and Yoshihiro Watanabe
  • Organizer: IEEE International Symposium on Mixed and Augmented Reality
  • Int'l Joint Research
• [Presentation] 「ダイナミックプロジェクションマッピング」 によるもっと自由な実世界 (2023)
  • Author(s): 渡辺 義浩
  • Organizer: 東京工業大学×日経BP 総合研究所 共同開催 特別シンポジウム「メタバース未来シナリオ2023」
  • Invited
• [Presentation] プロジェクションマッピングによる顔の年齢変容に関する検証 (2023)
  • Author(s): 袁 Lu，彭 浩倫，林 隆介，渡辺 義浩
  • Organizer: 第68回複合現実感研究会
• [Presentation] パストレーシングを用いたプロジェクションマッピングのための時空間変化を利用したノイズ評価指標 (2023)
  • Author(s): 勝部 寛也，西田 眞也，渡辺 義浩
  • Organizer: 第68回複合現実感研究会
• [Presentation] ビット深度分割による高速かつ高階調な画像投影の検証 (2023)
  • Author(s): 仲川 宙舞，渡辺 義浩
  • Organizer: 第68回複合現実感研究会
• [Presentation] ダイナミックプロジェクションマッピングがもたらす拡張現実の世界 (2022)
  • Author(s): 渡辺 義浩
  • Organizer: 港区立産業振興センター オープンイノベーションセミナー
  • Invited
• [Presentation] 現実と仮想を融合する視覚世界の創出 (2022)
  • Author(s): 渡辺 義浩
  • Organizer: 東京工業大学 社会人アカデミー 「資源・文化・情報」の今と未来 ― 情報～現実×仮想空間～
  • Invited
• [Presentation] E.S.P.: Extra-Sensory Puck in Air Hockey using the Projection-Based Illusion (2022)
  • Author(s): Kengo Sato, Hiroki Terashima, Shin'ya Nishida, Yoshihiro Watanabe
  • Organizer: SIGGRAPH Asia 2022 Emerging Technologies
  • Int'l Joint Research
• [Presentation] 追跡型投影による人間の視覚特性を利用した運動物体の不可視化と方向・速度操作 (2022)
  • Author(s): 佐藤 健吾，寺島 裕貴，西田 眞也，渡辺 義浩
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討 (2022)
  • Author(s): 勝部 寛也，渡辺 義浩
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 高フレームレート性を利用した投影型ARのための知覚品質向上 (2022)
  • Author(s): 宮本 駿一，野元 貴史，渡辺 義浩
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] 深度情報に基づくダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入に関する検証 (2022)
  • Author(s): 浦川 雄気，渡辺 義浩
  • Organizer: 第27回日本バーチャルリアリティ学会大会
• [Presentation] ダイナミックプロジェクションマッピングによる質感の変容 (2022)
  • Author(s): 渡辺義浩
  • Organizer: 電子ディスプレイの人間工学シンポジウム2022
  • Invited
• [Presentation] 高速インスタンスセグメンテーションを用いた投影による選択的色操作の提案 (2022)
  • Author(s): 小石原 遼，天野 敏之，渡辺 義浩
  • Organizer: 第65回複合現実感研究会
• [Presentation] 高フレームレートの動的投影に向けた時間的再利用によるパストレーシングのデノイズに関する検証 (2022)
  • Author(s): 宮本 駿一，野元 貴史，渡辺 義浩
  • Organizer: 第65回複合現実感研究会
• [Presentation] プロジェクタの高速化がもたらす新しい視覚世界 (2021)
  • Author(s): 渡辺義浩
  • Organizer: JEITA ディスプレイデバイス部会 人間工学検討グループ ミニシンポジウム
  • Invited
• [Presentation] 高速視覚フィードバックを駆使したダイナミックプロジェクションマッピング (2021)
  • Author(s): 渡辺義浩
  • Organizer: Optics & Photonics Japan 2021
  • Invited
• [Presentation] Dynamic Projection Mapping (2021)
  • Author(s): Yoshihiro Watanabe
  • Organizer: Asia-Pacific Workshop on Mixed and Augmented Reality 2021
  • Int'l Joint Research / Invited
• [Presentation] ボリュメトリックディスプレイのための素材融合による色操作に関する検証 (2021)
  • Author(s): Tangjitruamboon Tananan，彭 浩倫，渡辺 義浩
  • Organizer: 映像情報メディア学会 情報ディスプレイ研究会
• [Presentation] 追跡型構造化光による運動物体の不可視化の検証 (2021)
  • Author(s): 佐藤 健吾，渡辺 義浩
  • Organizer: 第26回バーチャルリアリティ学会大会
• [Presentation] Realistic 3D Swept-Volume Display with Hidden-Surface Removal Using Physical Materials (2021)
  • Author(s): Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Visual Perception With Dynamic Projection Mapping (2020)
  • Author(s): Yoshihiro Watanabe
  • Organizer: The 25th International Display Workshops
  • Int'l Joint Research / Invited
• [Presentation] Realistic Volumetric 3D Display Using Physical Materials (2020)
  • Author(s): Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • Organizer: SIGGRAPH Asia 2020
  • Int'l Joint Research
• [Presentation] Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control (2020)
  • Author(s): Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe
  • Organizer: SIGGRAPH Asia 2020
  • Int'l Joint Research
• [Remarks] Projection Mapping with a Brightly Lit Surrounding
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_bright/index.html
• [Remarks] Studying User Perceptible Misalignment
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_latency_face/index.html
• [Remarks] High-Frame-Rate Projection
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_superimposition/index.html
• [Remarks] パストレーシングを用いたダイナミックプロジェクションマッピングのためのノイズ低減
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/DenoisedRealDPM/index-j.html
• [Remarks] ダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_depth/index-j.html
• [Remarks] 液体レンズを用いた高速焦点追従投影システム
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/DynFocalTracking/index-j.html
• [Remarks] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/PathtracingDPM_Evaluation/index-j.html
• [Remarks] E.S.P.: 投影型錯覚を利用したエアホッケーの運動知覚操作
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [Remarks] 並列輝度制御に基づく複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html
• [Remarks] 追跡型構造化光による運動物体の不可視化の検証
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [Remarks] 高速インスタンスセグメンテーションを用いた投影による選択的色操作
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SelectiveColor/index-j.html
• [Remarks] 皮膚変形を再現する腕へのダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SkinDeformation/index-j.html
• [Remarks] 共振型液体可変焦点レンズと高速プロジェクタによる被写界深度の拡大
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/DynaFocalOscillating/index-j.html
• [Remarks] 周期運動する実素材を用いたリアリスティックな3次元ディスプレイ
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/3DPhyxel/index-j.html
• [Remarks] 複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html