深奥質感がもたらす現実と虚構の融合

• 研究領域: 実世界の奥深い質感情報の分析と生成
• 研究課題/領域番号: 20H05959
• 研究種目: 学術変革領域研究(A)
• 配分区分: 補助金
• 審査区分: 学術変革領域研究区分(Ⅳ)
• 研究機関: 東京工業大学
• 研究代表者: 渡辺 義浩 東京工業大学, 工学院, 准教授 (80456160)
• 研究期間 (年度): 2020-11-19 – 2025-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 72,020千円 (直接経費: 55,400千円、間接経費: 16,620千円); 2024年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2023年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2022年度: 15,210千円 (直接経費: 11,700千円、間接経費: 3,510千円); 2021年度: 14,430千円 (直接経費: 11,100千円、間接経費: 3,330千円); 2020年度: 11,960千円 (直接経費: 9,200千円、間接経費: 2,760千円)
• キーワード: 拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ

研究開始時の研究の概要

深奥質感は、人の価値判断・情動・行動に作用する。本研究では、この深奥質感を変容しうるレベルのリアリティを、実世界上の目の前の実体上に創造する。同目標を、人に接触することなく、環境側に設置された技術のみによって達成する。本研究では、まず表層質感の再現限界を超える。また、生来の視覚機能では捉えられない質感世界を実体上に可視化することで、人の認識行動の強化を図る。さらに、モノから場へと範囲を広げることで、人の行動と協調する質感操作を明らかにする。以上3つのかつてないレベルの質感操作技術によって、最終的に深奥質感の変容に挑む。

研究実績の概要

本年度は、観測・環境に整合するモノの質感再現に向けて、前年度に続き、複数台の高速プロジェクタを用いたダイナミックプロジェクションマッピングに関する研究に着手する。本研究では、複数台のプロジェクタが重複して同じ場所を投影する場合があるため、対象表面の各点に対してどのプロジェクタがどの輝度で投影すればよいかを協調して決める必要がある。従来手法は、複数枚の投影画像を同時に推定する大規模な最適化問題を解くアプローチをとっていたため、長い計算時間を要した。そこで本研究では、投影される対象形状の凹凸に対して、プロジェクタの画像解像度が十分に高いという前提のもとでは、前述の最適化問題を緩和して並列に解くことができる点に着目した。このような並列化により、高速での計算を実現できることを定量的に示した。また、プロジェクタが1台増加した場合の計算時間の増大はわずかであることも示した。さらに提案手法の並列化によって、各プロジェクタの複数枚の投影画像を個別に計算できるようになった。これにより、複数台の高速プロジェクタをそれぞれ別の計算機にネットワークで接続して、分散して画像を生成するシステム構成を実現した。従来研究に対する性能を定量的に比較することで、本手法の優位性を示した。また、複数台の高速カラープロジェクタを用いた新たな質感再現を示した。
また、前年度に開発した周期運動する実素材を用いたリアリスティックな3次元ディスプレイの強化に取り組んだ。具体的には、素材融合による色操作の可能性を検証した。さらに、ダイナミックプロジェクションマッピングに写実性の高いグラフィクスを導入するための検証も進めた。
次に、超越質感の提示による視覚拡張に向けて、人の視覚特性を利用した運動物体の不可視化や投影型色操作の強化に関する研究を進めた。
さらに、関連する要素技術として投影光学系に関する研究も進めた。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当初の計画において、重要な基盤技術の一つとしていた複数台の高速プロジェクタによるダイナミックプロジェクションマッピングをほぼ完成させた。残る研究課題についても検証が進んでおり、おおむね順調に進展していると考えられる。

今後の研究の推進方策

本年度は、観測・環境に整合するモノの質感再現と超越質感の提示による視覚拡張を中心に研究を進めた。今後は、これらの技術のさらなる進展に着手するとともに、第3の基盤技術である場の質感操作の検討も開始する。

研究成果

• [雑誌論文] ダイナミックプロジェクションマッピングによる虚実融合 (2022)
  • 著者名/発表者名: 渡辺 義浩
  • 雑誌名: 日本画像学会誌 巻: 61 号: 1 ページ: 14-21
  • DOI: 10.11370/isj.61.14
  • NAID: 130008159498
  • ISSN: 1344-4425, 1880-4675
  • 年月日: 2022-02-10
• [雑誌論文] Dynamic Multi-projection Mapping Based on Parallel Intensity Control (2022)
  • 著者名/発表者名: Nomoto Takashi, Li Wanlong, Peng Hao-Lun, and Watanabe Yoshihiro
  • 雑誌名: IEEE Transactions on Visualization and Computer Graphics 巻: 28 号: 5 ページ: 2125-2134
  • DOI: 10.1109/tvcg.2022.3150488
  • 査読あり
• [雑誌論文] Extended depth-of-field projection method using a high-speed projectorwith a synchronized oscillating variable-focus lens (2021)
  • 著者名/発表者名: Xu Hongjin, Wang Lihui, Tabata Satoshi, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • 雑誌名: Applied Optics 巻: 60 号: 13 ページ: 3917-3917
  • DOI: 10.1364/ao.419470
  • 査読あり / 国際共著
• [雑誌論文] High-Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation (2021)
  • 著者名/発表者名: Peng Hao-Lun and Watanabe Yoshihiro
  • 雑誌名: Applied Sciences 巻: 11 号: 9 ページ: 3753-3753
  • DOI: 10.3390/app11093753
  • 査読あり / オープンアクセス
• [雑誌論文] Wide viewing angle with a downsized system in projection-type integral photography by using curved mirrors (2021)
  • 著者名/発表者名: Yasui Masahiko, Watanabe Yoshihiro, and Ishikawa Masatoshi
  • 雑誌名: Optics Express 巻: 29 号: 8 ページ: 12066-12066
  • DOI: 10.1364/oe.418729
  • 査読あり / オープンアクセス
• [学会発表] ダイナミックプロジェクションマッピングによる質感の変容 (2022)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: 電子ディスプレイの人間工学シンポジウム2022
  • 招待講演
• [学会発表] 高速インスタンスセグメンテーションを用いた投影による選択的色操作の提案 (2022)
  • 著者名/発表者名: 小石原 遼，天野 敏之，渡辺 義浩
  • 学会等名: 第65回複合現実感研究会
• [学会発表] 高フレームレートの動的投影に向けた時間的再利用によるパストレーシングのデノイズに関する検証 (2022)
  • 著者名/発表者名: 宮本 駿一，野元 貴史，渡辺 義浩
  • 学会等名: 第65回複合現実感研究会
• [学会発表] プロジェクタの高速化がもたらす新しい視覚世界 (2021)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: JEITA ディスプレイデバイス部会 人間工学検討グループ ミニシンポジウム
  • 招待講演
• [学会発表] 高速視覚フィードバックを駆使したダイナミックプロジェクションマッピング (2021)
  • 著者名/発表者名: 渡辺義浩
  • 学会等名: Optics & Photonics Japan 2021
  • 招待講演
• [学会発表] Dynamic Projection Mapping (2021)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: Asia-Pacific Workshop on Mixed and Augmented Reality 2021
  • 国際学会 / 招待講演
• [学会発表] ボリュメトリックディスプレイのための素材融合による色操作に関する検証 (2021)
  • 著者名/発表者名: Tangjitruamboon Tananan，彭 浩倫，渡辺 義浩
  • 学会等名: 映像情報メディア学会 情報ディスプレイ研究会
• [学会発表] 追跡型構造化光による運動物体の不可視化の検証 (2021)
  • 著者名/発表者名: 佐藤 健吾，渡辺 義浩
  • 学会等名: 第26回バーチャルリアリティ学会大会
• [学会発表] Realistic 3D Swept-Volume Display with Hidden-Surface Removal Using Physical Materials (2021)
  • 著者名/発表者名: Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • 学会等名: IEEE Conference on Virtual Reality and 3D User Interfaces
  • 国際学会
• [学会発表] Visual Perception With Dynamic Projection Mapping (2020)
  • 著者名/発表者名: Yoshihiro Watanabe
  • 学会等名: The 25th International Display Workshops
  • 国際学会 / 招待講演
• [学会発表] Realistic Volumetric 3D Display Using Physical Materials (2020)
  • 著者名/発表者名: Ray Asahina, Takashi Nomoto, Takatoshi Yoshida, and Yoshihiro Watanabe
  • 学会等名: SIGGRAPH Asia 2020
  • 国際学会
• [学会発表] Dynamic Projection Mapping with Networked Multi-projectors Based on Pixel-parallel Intensity Control (2020)
  • 著者名/発表者名: Takashi Nomoto, Wanlong Li, Hao-Lun Peng, and Yoshihiro Watanabe
  • 学会等名: SIGGRAPH Asia 2020
  • 国際学会
• [備考] 並列輝度制御に基づく複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html
• [備考] 追跡型構造化光による運動物体の不可視化の検証
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html
• [備考] 高速インスタンスセグメンテーションを用いた投影による選択的色操作
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SelectiveColor/index-j.html
• [備考] 皮膚変形を再現する腕へのダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/SkinDeformation/index-j.html
• [備考] 共振型液体可変焦点レンズと高速プロジェクタによる被写界深度の拡大
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/DynaFocalOscillating/index-j.html
• [備考] 周期運動する実素材を用いたリアリスティックな3次元ディスプレイ
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/3DPhyxel/index-j.html
• [備考] 複数台の高速プロジェクタによるダイナミックプロジェクションマッピング
  • URL: http://www.vision.ict.e.titech.ac.jp/projects/MultiDPM/index-j.html