Fusion of reality and unreality brought by deep shitsukan

• Project Area: Analysis and synthesis of deep SHITSUKAN information in the real world
• Project/Area Number: 20H05959
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (IV)
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
• Project Period (FY): 2020-11-19 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥72,020,000 (Direct Cost: ¥55,400,000、Indirect Cost: ¥16,620,000); Fiscal Year 2024: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2023: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2022: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000); Fiscal Year 2021: ¥14,430,000 (Direct Cost: ¥11,100,000、Indirect Cost: ¥3,330,000); Fiscal Year 2020: ¥11,960,000 (Direct Cost: ¥9,200,000、Indirect Cost: ¥2,760,000)
• Keywords: 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ

Outline of Research at the Start

深奥質感は、人の価値判断・情動・行動に作用する。本研究では、この深奥質感を変容しうるレベルのリアリティを、実世界上の目の前の実体上に創造する。同目標を、人に接触することなく、環境側に設置された技術のみによって達成する。本研究では、まず表層質感の再現限界を超える。また、生来の視覚機能では捉えられない質感世界を実体上に可視化することで、人の認識行動の強化を図る。さらに、モノから場へと範囲を広げることで、人の行動と協調する質感操作を明らかにする。以上3つのかつてないレベルの質感操作技術によって、最終的に深奥質感の変容に挑む。

Outline of Annual Research Achievements

本年度は、観測・環境に整合するモノの質感再現に向けて、前年度に続き、複数台の高速プロジェクタを用いたダイナミックプロジェクションマッピングに関する研究に着手する。本研究では、複数台のプロジェクタが重複して同じ場所を投影する場合があるため、対象表面の各点に対してどのプロジェクタがどの輝度で投影すればよいかを協調して決める必要がある。従来手法は、複数枚の投影画像を同時に推定する大規模な最適化問題を解くアプローチをとっていたため、長い計算時間を要した。そこで本研究では、投影される対象形状の凹凸に対して、プロジェクタの画像解像度が十分に高いという前提のもとでは、前述の最適化問題を緩和して並列に解くことができる点に着目した。このような並列化により、高速での計算を実現できることを定量的に示した。また、プロジェクタが1台増加した場合の計算時間の増大はわずかであることも示した。さらに提案手法の並列化によって、各プロジェクタの複数枚の投影画像を個別に計算できるようになった。これにより、複数台の高速プロジェクタをそれぞれ別の計算機にネットワークで接続して、分散して画像を生成するシステム構成を実現した。従来研究に対する性能を定量的に比較することで、本手法の優位性を示した。また、複数台の高速カラープロジェクタを用いた新たな質感再現を示した。
また、前年度に開発した周期運動する実素材を用いたリアリスティックな3次元ディスプレイの強化に取り組んだ。具体的には、素材融合による色操作の可能性を検証した。さらに、ダイナミックプロジェクションマッピングに写実性の高いグラフィクスを導入するための検証も進めた。
次に、超越質感の提示による視覚拡張に向けて、人の視覚特性を利用した運動物体の不可視化や投影型色操作の強化に関する研究を進めた。
さらに、関連する要素技術として投影光学系に関する研究も進めた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画において、重要な基盤技術の一つとしていた複数台の高速プロジェクタによるダイナミックプロジェクションマッピングをほぼ完成させた。残る研究課題についても検証が進んでおり、おおむね順調に進展していると考えられる。

Strategy for Future Research Activity

本年度は、観測・環境に整合するモノの質感再現と超越質感の提示による視覚拡張を中心に研究を進めた。今後は、これらの技術のさらなる進展に着手するとともに、第3の基盤技術である場の質感操作の検討も開始する。

Research Products

• [Journal Article] Shaping Reality Through Dynamic Projection Mapping (2022)
  • Author(s): 渡辺 義浩
  • Journal Title: NIHON GAZO GAKKAISHI (Journal of the Imaging Society of Japan) Volume: 61 Issue: 1 Pages: 14-21
  • DOI: 10.11370/isj.61.14
  • NAID: 130008159498
  • ISSN: 1344-4425, 1880-4675
  • Year and Date: 2022-02-10
• [Journal Article] Dynamic Multi-projection Mapping Based on Parallel Intensity Control (2022)
  • Author(s): Nomoto Takashi, Li Wanlong, Peng Hao-Lun, and Watanabe Yoshihiro
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 28 Issue: 5 Pages: 2125-2134
  • DOI: 10.1109/tvcg.2022.3150488
  • Peer Reviewed
• [Journal Article] Extended depth-of-field projection method using a high-speed projectorwith a synchronized oscillating variable-focus lens (2021)
  • Author(s): Xu Hongjin, Wang Lihui, Tabata Satoshi, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • Journal Title: Applied Optics Volume: 60 Issue: 13 Pages: 3917-3917
  • DOI: 10.1364/ao.419470
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation (2021)
  • Author(s): Peng Hao-Lun and Watanabe Yoshihiro
  • Journal Title: Applied Sciences Volume: 11 Issue: 9 Pages: 3753-3753
  • DOI: 10.3390/app11093753
  • Peer Reviewed / Open Access
• [Journal Article] Wide viewing angle with a downsized system in projection-type integral photography by using curved mirrors (2021)
  • Author(s): Yasui Masahiko, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • Journal Title: Optics Express Volume: 29 Issue: 8 Pages: 12066-12066
  • DOI: 10.1364/oe.418729
  • Peer Reviewed / Open Access
• [Presentation] ダイナミックプロジェクションマッピングによる質感の変容 (2022)
  • Author(s): 渡辺義浩
  • Organizer: 電子ディスプレイの人間工学シンポジウム2022
  • Invited
• [Presentation] 高速インスタンスセグメンテーションを用いた投影による選択的色操作の提案 (2022)
  • Author(s): 小石原 遼，天野 敏之，渡辺 義浩
  • Organizer: 第65回複合現実感研究会
• [Presentation] 高フレームレートの動的投影に向けた時間的再利用によるパストレーシングのデノイズに関する検証 (2022)
  • Author(s): 宮本 駿一，野元 貴史，渡辺 義浩
  • Organizer: 第65回複合現実感研究会
• [Presentation] プロジェクタの高速化がもたらす新しい視覚世界 (2021)
  • Author(s): 渡辺義浩
  • Organizer: JEITA ディスプレイデバイス部会 人間工学検討グループ ミニシンポジウム
  • Invited
• [Presentation] 高速視覚フィードバックを駆使したダイナミックプロジェクションマッピング (2021)
  • Author(s): 渡辺義浩
  • Organizer: Optics & Photonics Japan 2021
  • Invited
• [Presentation] Dynamic Projection Mapping (2021)
  • Author(s): Yoshihiro Watanabe
  • Organizer: Asia-Pacific Workshop on Mixed and Augmented Reality 2021
  • Int'l Joint Research / Invited
• [Presentation] ボリュメトリックディスプレイのための素材融合による色操作に関する検証 (2021)
  • Author(s): Tangjitruamboon Tananan，彭 浩倫，渡辺 義浩
  • Organizer: 映像情報メディア学会 情報ディスプレイ研究会
• [Presentation] 追跡型構造化光による運動物体の不可視化の検証 (2021)
  • Author(s): 佐藤 健吾，渡辺 義浩
  • Organizer: 第26回バーチャルリアリティ学会大会
• [Presentation] Realistic 3D Swept-Volume Display with Hidden-Surface Removal Using Physical Materials (2021)
  • Author(s): Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • Organizer: IEEE Conference on Virtual Reality and 3D User Interfaces
  • Int'l Joint Research
• [Presentation] Visual Perception With Dynamic Projection Mapping (2020)
  • Author(s): Yoshihiro Watanabe
  • Organizer: The 25th International Display Workshops
  • Int'l Joint Research / Invited
• [Presentation] Realistic Volumetric 3D Display Using Physical Materials (2020)
  • Author(s): Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • Organizer: SIGGRAPH Asia 2020
  • Int'l Joint Research
• [Presentation] Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control (2020)
  • Author(s): Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe
  • Organizer: SIGGRAPH Asia 2020
  • Int'l Joint Research
• [Remarks] 並列輝度制御に基づく複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html
• [Remarks] 追跡型構造化光による運動物体の不可視化の検証
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [Remarks] 高速インスタンスセグメンテーションを用いた投影による選択的色操作
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SelectiveColor/index-j.html
• [Remarks] 皮膚変形を再現する腕へのダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SkinDeformation/index-j.html
• [Remarks] 共振型液体可変焦点レンズと高速プロジェクタによる被写界深度の拡大
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/DynaFocalOscillating/index-j.html
• [Remarks] 周期運動する実素材を用いたリアリスティックな3次元ディスプレイ
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/3DPhyxel/index-j.html
• [Remarks] 複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html