深奥質感がもたらす現実と虚構の融合

• 研究領域: 実世界の奥深い質感情報の分析と生成
• 研究課題/領域番号: 20H05959
• 研究種目: 学術変革領域研究(A)
• 配分区分: 補助金
• 審査区分: 学術変革領域研究区分(Ⅳ)
• 研究機関: 東京工業大学
• 研究代表者: 渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
• 研究期間 (年度): 2020-11-19 – 2025-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 72,020千円 (直接経費: 55,400千円、間接経費: 16,620千円); 2024年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2023年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2022年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2021年度: 14,430千円 (直接経費: 11,100千円、間接経費: 3,330千円); 2020年度: 11,960千円 (直接経費: 9,200千円、間接経費: 2,760千円)
• キーワード: 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ

研究開始時の研究の概要

深奥質感は、人の価値判断・情動・行動に作用する。本研究では、この深奥質感を変容しうるレベルのリアリティを、実世界上の目の前の実体上に創造する。同目標を、人に接触することなく、環境側に設置された技術のみによって達成する。本研究では、まず表層質感の再現限界を超える。また、生来の視覚機能では捉えられない質感世界を実体上に可視化することで、人の認識行動の強化を図る。さらに、モノから場へと範囲を広げることで、人の行動と協調する質感操作を明らかにする。以上3つのかつてないレベルの質感操作技術によって、最終的に深奥質感の変容に挑む。

研究実績の概要

本年度は、観測・環境に整合するモノの質感再現として、ダイナミックプロジェクションマッピングにおける遅延の知覚に関する研究に取り組んだ。具体的には、特に顔を投影対象として、知覚遅延のJust-Noticeable Difference（JND）を被験者実験を介して調査した。結果として、顔の動きの種類とその速度によって、知覚される位置ずれが異なることを示した。また、これまでの主流となっていた遅延要件よりも、短い遅延によるずれを知覚できることが分かった。
また、場の質感操作として、通常のプロジェクションマッピングと光線制御可能な照明を組み合わせる手法を提案した。本手法では、光線制御可能な照明を用いて、プロジェクションマッピングの対象に届く光線をその形に合わせて正確に消灯する。さらに、それ以外の光線を点灯させることで、投影対象だけに照明が当たらず、周囲の環境は自然で明るい状態を再現することができる。この構成下で、投影対象に通常のプロジェクションマッピングを適用することで、明るい自然な環境を作り出しつつ、高いコントラストでマッピングによる外観操作を実現した。
さらに、本研究全体で重要な役割を果たしている高速プロジェクタについて、そのフレームレートをさらに高める研究を進めた。提案手法は、画像のビット深度を複数のプロジェクタに分割し、それらを同時に同期して投影するものである。同時に投影される低階調の複数画像が重畳されることで、高階調の画像を非常に短い時間で再現できるため、プロジェクタの台数に比例して、フレームレートを増加させることができる。また最大輝度を達成するように、システム構成を最適化する混合整数非線形計画問題に基づく解法も新たに提案した。2台の高フレームレートプロジェクタを用いたシステムを構築した結果、8ビットの画像を5,600fpsのフレームレートで投影できることを確認した。

現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

当初予定していた計画に加えて、ダイナミックプロジェクションマッピングにおける知覚遅延に関して新たな知見を得るとともに、超高速プロジェクタを実現することができた。以上より、当初の計画以上に進展していると判断した。

今後の研究の推進方策

最終年度の研究として、これまでに実現した研究成果に残された課題を解決し、研究構想の完成を目指す。

研究成果

• [雑誌論文] Projection Mapping with a Brightly Lit Surrounding Using a Mixed Light Field Approach (2024)
  • 著者名/発表者名: Yasui Masahiko、Iwataki Ryota、Ishikawa Masatoshi、Watanabe Yoshihiro
  • 雑誌名: IEEE Transactions on Visualization and Computer Graphics 巻: 30 号: 5 ページ: 2217-2227
  • DOI: 10.1109/tvcg.2024.3372132
  • 査読あり
• [雑誌論文] Dynamic depth-of-field projection mapping method based on a variable focus lens and visual feedback (2023)
  • 著者名/発表者名: Lihui Wang, Satoshi Tabata, Hongjin Xu, Yunpu Hu, Yoshihiro Watanabe, Masatoshi Ishikawa
  • 雑誌名: Optics Express 巻: Vol.31 号: 3 ページ: 3945-3953
  • DOI: 10.1364/oe.478416
  • 査読あり / オープンアクセス / 国際共著
• [雑誌論文] ダイナミックプロジェクションマッピングの作り方と使い方 (2023)
  • 著者名/発表者名: 渡辺 義浩
  • 雑誌名: 電子情報通信学会誌 巻: 106 ページ: 149-154
• [雑誌論文] 高速性を追及するダイナミックプロジェクションマッピングの基盤と実践 (2023)
  • 著者名/発表者名: 渡辺 義浩
  • 雑誌名: 光学 巻: 52 ページ: 30-35
• [雑誌論文] ダイナミックプロジェクションマッピングによる虚実融合 (2022)
  • 著者名/発表者名: 渡辺 義浩
  • 雑誌名: 日本画像学会誌 巻: 61 号: 1 ページ: 14-21
  • DOI: 10.11370/isj.61.14
  • NAID: 130008159498
  • ISSN: 1344-4425, 1880-4675
  • 年月日: 2022-02-10
• [雑誌論文] 高速プロジェクタとダイナミックプロジェクションマッピングの進化 (2022)
  • 著者名/発表者名: 渡辺 義浩
  • 雑誌名: 映像情報メディア学会誌 巻: 76 ページ: 322-326
• [雑誌論文] Dynamic Multi-projection Mapping Based on Parallel Intensity Control (2022)
  • 著者名/発表者名: Nomoto Takashi, Li Wanlong, Peng Hao-Lun, and Watanabe Yoshihiro
  • 雑誌名: IEEE Transactions on Visualization and Computer Graphics 巻: 28 号: 5 ページ: 2125-2134
  • DOI: 10.1109/tvcg.2022.3150488
  • 査読あり
• [雑誌論文] Extended depth-of-field projection method using a high-speed projectorwith a synchronized oscillating variable-focus lens (2021)
  • 著者名/発表者名: Xu Hongjin, Wang Lihui, Tabata Satoshi, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • 雑誌名: Applied Optics 巻: 60 号: 13 ページ: 3917-3917
  • DOI: 10.1364/ao.419470
  • 査読あり / 国際共著
• [雑誌論文] High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation (2021)
  • 著者名/発表者名: Peng Hao-Lun and Watanabe Yoshihiro
  • 雑誌名: Applied Sciences 巻: 11 号: 9 ページ: 3753-3753
  • DOI: 10.3390/app11093753
  • 査読あり / オープンアクセス
• [雑誌論文] Wide viewing angle with a downsized system in projection-type integral photography by using curved mirrors (2021)
  • 著者名/発表者名: Yasui Masahiko, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • 雑誌名: Optics Express 巻: 29 号: 8 ページ: 12066-12066
  • DOI: 10.1364/oe.418729
  • 査読あり / オープンアクセス
• [学会発表] ダイナミックプロジェクションマッピングによる質感の模倣とその先 (2024)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: 質感のつどい 第７回公開フォーラム
  • 招待講演
• [学会発表] Transforming Experience in Real World with Dynamic Projection Mapping (2023)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: The 30th International Display Workshops
  • 国際学会 / 招待講演
• [学会発表] Augmented Real-world Interaction with High-speed Vision and Projection (2023)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: The 6th International Conference on Intelligent Robotics and Control Engineering
  • 国際学会 / 招待講演
• [学会発表] 色補償を用いたプロジェクションマッピングによる顔の年齢変容に関する検討 (2023)
  • 著者名/発表者名: 袁 Lu，彭 浩倫，林 隆介，渡辺 義浩
  • 学会等名: 第28回バーチャルリアリティ学会大会
• [学会発表] 観測視点・対象運動・投影解像度に応じて計算負荷を削減するパストレーシング型ダイナミックプロジェクションマッピング (2023)
  • 著者名/発表者名: 羽山 大智，宮本 駿一，渡辺 義浩
  • 学会等名: 第28回バーチャルリアリティ学会大会
• [学会発表] 投影型錯視に基づくエアホッケーの知覚操作の体験向上に向けた検討 (2023)
  • 著者名/発表者名: 村田 有生喜，佐藤 健吾，寺島 裕貴，西田 眞也，渡辺 義浩
  • 学会等名: 第28回バーチャルリアリティ学会大会
• [学会発表] 輝度と色の遅延知覚の違いとその投影型見かけ操作への応用に関する検討 (2023)
  • 著者名/発表者名: 樊 錦元，天野 敏之，渡辺 義浩
  • 学会等名: 第28回バーチャルリアリティ学会大会
• [学会発表] Studying User Perceptible Misalignment in Simulated Dynamic Facial Projection Mapping (2023)
  • 著者名/発表者名: Hao-Lun Peng, Shin'ya Nishida, and Yoshihiro Watanabe
  • 学会等名: IEEE International Symposium on Mixed and Augmented Reality
  • 国際学会
• [学会発表] High-Frame-Rate Projection with Thousands of Frames Per Second Based on the Multi-Bit Superimposition Method (2023)
  • 著者名/発表者名: Soran Nakagawa and Yoshihiro Watanabe
  • 学会等名: IEEE International Symposium on Mixed and Augmented Reality
  • 国際学会
• [学会発表] 「ダイナミックプロジェクションマッピング」 によるもっと自由な実世界 (2023)
  • 著者名/発表者名: 渡辺 義浩
  • 学会等名: 東京工業大学×日経BP 総合研究所 共同開催 特別シンポジウム「メタバース未来シナリオ2023」
  • 招待講演
• [学会発表] プロジェクションマッピングによる顔の年齢変容に関する検証 (2023)
  • 著者名/発表者名: 袁 Lu，彭 浩倫，林 隆介，渡辺 義浩
  • 学会等名: 第68回複合現実感研究会
• [学会発表] パストレーシングを用いたプロジェクションマッピングのための時空間変化を利用したノイズ評価指標 (2023)
  • 著者名/発表者名: 勝部 寛也，西田 眞也，渡辺 義浩
  • 学会等名: 第68回複合現実感研究会
• [学会発表] ビット深度分割による高速かつ高階調な画像投影の検証 (2023)
  • 著者名/発表者名: 仲川 宙舞，渡辺 義浩
  • 学会等名: 第68回複合現実感研究会
• [学会発表] ダイナミックプロジェクションマッピングがもたらす拡張現実の世界 (2022)
  • 著者名/発表者名: 渡辺 義浩
  • 学会等名: 港区立産業振興センター オープンイノベーションセミナー
  • 招待講演
• [学会発表] 現実と仮想を融合する視覚世界の創出 (2022)
  • 著者名/発表者名: 渡辺 義浩
  • 学会等名: 東京工業大学 社会人アカデミー 「資源・文化・情報」の今と未来 ― 情報～現実×仮想空間～
  • 招待講演
• [学会発表] E.S.P.: Extra-Sensory Puck in Air Hockey using the Projection-Based Illusion (2022)
  • 著者名/発表者名: Kengo Sato, Hiroki Terashima, Shin'ya Nishida, Yoshihiro Watanabe
  • 学会等名: SIGGRAPH Asia 2022 Emerging Technologies
  • 国際学会
• [学会発表] 追跡型投影による人間の視覚特性を利用した運動物体の不可視化と方向・速度操作 (2022)
  • 著者名/発表者名: 佐藤 健吾，寺島 裕貴，西田 眞也，渡辺 義浩
  • 学会等名: 第27回日本バーチャルリアリティ学会大会
• [学会発表] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討 (2022)
  • 著者名/発表者名: 勝部 寛也，渡辺 義浩
  • 学会等名: 第27回日本バーチャルリアリティ学会大会
• [学会発表] 高フレームレート性を利用した投影型ARのための知覚品質向上 (2022)
  • 著者名/発表者名: 宮本 駿一，野元 貴史，渡辺 義浩
  • 学会等名: 第27回日本バーチャルリアリティ学会大会
• [学会発表] 深度情報に基づくダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入に関する検証 (2022)
  • 著者名/発表者名: 浦川 雄気，渡辺 義浩
  • 学会等名: 第27回日本バーチャルリアリティ学会大会
• [学会発表] ダイナミックプロジェクションマッピングによる質感の変容 (2022)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: 電子ディスプレイの人間工学シンポジウム2022
  • 招待講演
• [学会発表] 高速インスタンスセグメンテーションを用いた投影による選択的色操作の提案 (2022)
  • 著者名/発表者名: 小石原 遼，天野 敏之，渡辺 義浩
  • 学会等名: 第65回複合現実感研究会
• [学会発表] 高フレームレートの動的投影に向けた時間的再利用によるパストレーシングのデノイズに関する検証 (2022)
  • 著者名/発表者名: 宮本 駿一，野元 貴史，渡辺 義浩
  • 学会等名: 第65回複合現実感研究会
• [学会発表] プロジェクタの高速化がもたらす新しい視覚世界 (2021)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: JEITA ディスプレイデバイス部会 人間工学検討グループ ミニシンポジウム
  • 招待講演
• [学会発表] 高速視覚フィードバックを駆使したダイナミックプロジェクションマッピング (2021)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: Optics & Photonics Japan 2021
  • 招待講演
• [学会発表] Dynamic Projection Mapping (2021)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: Asia-Pacific Workshop on Mixed and Augmented Reality 2021
  • 国際学会 / 招待講演
• [学会発表] ボリュメトリックディスプレイのための素材融合による色操作に関する検証 (2021)
  • 著者名/発表者名: Tangjitruamboon Tananan，彭 浩倫，渡辺 義浩
  • 学会等名: 映像情報メディア学会 情報ディスプレイ研究会
• [学会発表] 追跡型構造化光による運動物体の不可視化の検証 (2021)
  • 著者名/発表者名: 佐藤 健吾，渡辺 義浩
  • 学会等名: 第26回バーチャルリアリティ学会大会
• [学会発表] Realistic 3D Swept-Volume Display with Hidden-Surface Removal Using Physical Materials (2021)
  • 著者名/発表者名: Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • 学会等名: IEEE Conference on Virtual Reality and 3D User Interfaces
  • 国際学会
• [学会発表] Visual Perception With Dynamic Projection Mapping (2020)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: The 25th International Display Workshops
  • 国際学会 / 招待講演
• [学会発表] Realistic Volumetric 3D Display Using Physical Materials (2020)
  • 著者名/発表者名: Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • 学会等名: SIGGRAPH Asia 2020
  • 国際学会
• [学会発表] Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control (2020)
  • 著者名/発表者名: Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe
  • 学会等名: SIGGRAPH Asia 2020
  • 国際学会
• [備考] Projection Mapping with a Brightly Lit Surrounding
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_bright/index.html
• [備考] Studying User Perceptible Misalignment
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_latency_face/index.html
• [備考] High-Frame-Rate Projection
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_superimposition/index.html
• [備考] パストレーシングを用いたダイナミックプロジェクションマッピングのためのノイズ低減
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/DenoisedRealDPM/index-j.html
• [備考] ダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_depth/index-j.html
• [備考] 液体レンズを用いた高速焦点追従投影システム
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/DynFocalTracking/index-j.html
• [備考] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/PathtracingDPM_Evaluation/index-j.html
• [備考] E.S.P.: 投影型錯覚を利用したエアホッケーの運動知覚操作
  • URL: https://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [備考] 並列輝度制御に基づく複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html
• [備考] 追跡型構造化光による運動物体の不可視化の検証
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [備考] 高速インスタンスセグメンテーションを用いた投影による選択的色操作
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SelectiveColor/index-j.html
• [備考] 皮膚変形を再現する腕へのダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SkinDeformation/index-j.html
• [備考] 共振型液体可変焦点レンズと高速プロジェクタによる被写界深度の拡大
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/DynaFocalOscillating/index-j.html
• [備考] 周期運動する実素材を用いたリアリスティックな3次元ディスプレイ
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/3DPhyxel/index-j.html
• [備考] 複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html