• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Fusion of reality and unreality brought by deep shitsukan

Planned Research

Project AreaAnalysis and synthesis of deep SHITSUKAN information in the real world
Project/Area Number 20H05959
Research InstitutionTokyo Institute of Technology

Principal Investigator

渡辺 義浩  東京工業大学, 工学院, 准教授 (80456160)

Project Period (FY) 2020-11-19 – 2025-03-31
Keywords拡張現実 / コンピュータビジョン / コンピュータグラフィクス / プロジェクタ
Outline of Annual Research Achievements

本年度は、観測・環境に整合するモノの質感再現として、ダイナミックプロジェクションマッピングによって、多数回の屈折・反射を伴う現象を再現する研究に着手した。このような再現に向けて、パストレーシングと呼ばれる光線追跡によってグラフィックスを描画するレンダリング手法が必要となる。しかし、同手法は時間を要するため、ダイナミックプロジェクションマッピングの要請である数msでの完了を満たすことは難しい。そこで、まず、高いフレームレートがもたらす特性を利用することで、知覚上の投影像の積分効果によるノイズ低減や、微小なシーン変化によるグラフィクス描画の高速化を実現する手法を提案した。次に、このような投影の下で知覚される視覚ノイズを、計算によって評価可能な指標について検討を進めた。
次に、超越質感の提示による視覚拡張として、光を制御して視覚情報に変調を加えることによって、実物体に対する知覚を操作する試みに着手した。特に本年度は、インタラクティブなスポーツにおいて知覚操作を新たに実現することを目指し、エアホッケーに注目した。まず、エアホッケーのパックに無遅延で投影可能なシステムを構築した。このシステムを用いて、投影によりパックに光が当たらない状態を保ちつつ、背景における輝度変化を知覚上で補正し、パックを「消える魔球」のように不可視化する手法を提案した。さらに、周辺視野において発生する錯覚を利用し、パックの運動方向・速度が実際とは異なる状態にあるかのように知覚させる手法も提案した。
さらに、深奥質感の変容として、顔へのダイナミックプロジェクションマッピングによって、年齢を変容させる可能性について研究を進めた。さらに、本研究全体で重要な役割を果たしている高速なプロジェクタについて、そのフレームレートをさらに高める研究も進めた。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初予定していた研究成果を上げるとともに、超高速のプロジェクタ開発など想定外の新たな研究も進展している。以上より、当初の計画以上に進展していると判断できる。

Strategy for Future Research Activity

進展中の研究を強化するとともに、新たに次の研究も立ち上げる。まず、場の質感操作について、プロジェクションマッピングの周囲環境が暗い問題を解決する研究に着手する。また、観測・環境に整合するモノの質感再現を強化するために、遅延に関する知覚特性の側面から、ダイナミックプロジェクションマッピングの品質を評価する研究を試みる。

Remarks

日本バーチャルリアリティ学会 第27回大会 学術奨励賞.
Emerging Technologies Best Demo Award, SIGGRAPH Asia 2022.
2022 SIGMR賞 (日本バーチャルリアリティ学会 複合現実感研究委員会).

  • Research Products

    (20 results)

All 2023 2022 Other

All Journal Article (4 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (11 results) (of which Int'l Joint Research: 1 results,  Invited: 3 results) Remarks (5 results)

  • [Journal Article] Dynamic depth-of-field projection mapping method based on a variable focus lens and visual feedback2023

    • Author(s)
      Wang Lihui、Tabata Satoshi、Xu Hongjin、Hu Yunpu、Watanabe Yoshihiro、Ishikawa Masatoshi
    • Journal Title

      Optics Express

      Volume: 31 Pages: 3945~3945

    • DOI

      10.1364/OE.478416

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] ダイナミックプロジェクションマッピングの作り方と使い方2023

    • Author(s)
      渡辺 義浩
    • Journal Title

      電子情報通信学会誌

      Volume: 106 Pages: 149~154

  • [Journal Article] 高速性を追及するダイナミックプロジェクションマッピングの基盤と実践2023

    • Author(s)
      渡辺 義浩
    • Journal Title

      光学

      Volume: 52 Pages: 30~35

  • [Journal Article] 高速プロジェクタとダイナミックプロジェクションマッピングの進化2022

    • Author(s)
      渡辺 義浩
    • Journal Title

      映像情報メディア学会誌

      Volume: 76 Pages: 322~326

  • [Presentation] 「ダイナミックプロジェクションマッピング」 によるもっと自由な実世界2023

    • Author(s)
      渡辺 義浩
    • Organizer
      東京工業大学×日経BP 総合研究所 共同開催 特別シンポジウム「メタバース未来シナリオ2023」
    • Invited
  • [Presentation] プロジェクションマッピングによる顔の年齢変容に関する検証2023

    • Author(s)
      袁 Lu,彭 浩倫,林 隆介,渡辺 義浩
    • Organizer
      第68回複合現実感研究会
  • [Presentation] パストレーシングを用いたプロジェクションマッピングのための時空間変化を利用したノイズ評価指標2023

    • Author(s)
      勝部 寛也,西田 眞也,渡辺 義浩
    • Organizer
      第68回複合現実感研究会
  • [Presentation] ビット深度分割による高速かつ高階調な画像投影の検証2023

    • Author(s)
      仲川 宙舞,渡辺 義浩
    • Organizer
      第68回複合現実感研究会
  • [Presentation] ダイナミックプロジェクションマッピングがもたらす拡張現実の世界2022

    • Author(s)
      渡辺 義浩
    • Organizer
      港区立産業振興センター オープンイノベーションセミナー
    • Invited
  • [Presentation] 現実と仮想を融合する視覚世界の創出2022

    • Author(s)
      渡辺 義浩
    • Organizer
      東京工業大学 社会人アカデミー 「資源・文化・情報」の今と未来 ― 情報~現実×仮想空間~
    • Invited
  • [Presentation] E.S.P.: Extra-Sensory Puck in Air Hockey using the Projection-Based Illusion2022

    • Author(s)
      Kengo Sato, Hiroki Terashima, Shin'ya Nishida, Yoshihiro Watanabe
    • Organizer
      SIGGRAPH Asia 2022 Emerging Technologies
    • Int'l Joint Research
  • [Presentation] 追跡型投影による人間の視覚特性を利用した運動物体の不可視化と方向・速度操作2022

    • Author(s)
      佐藤 健吾,寺島 裕貴,西田 眞也,渡辺 義浩
    • Organizer
      第27回日本バーチャルリアリティ学会大会
  • [Presentation] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討2022

    • Author(s)
      勝部 寛也,渡辺 義浩
    • Organizer
      第27回日本バーチャルリアリティ学会大会
  • [Presentation] 高フレームレート性を利用した投影型ARのための知覚品質向上2022

    • Author(s)
      宮本 駿一,野元 貴史,渡辺 義浩
    • Organizer
      第27回日本バーチャルリアリティ学会大会
  • [Presentation] 深度情報に基づくダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入に関する検証2022

    • Author(s)
      浦川 雄気,渡辺 義浩
    • Organizer
      第27回日本バーチャルリアリティ学会大会
  • [Remarks] パストレーシングを用いたダイナミックプロジェクションマッピングのためのノイズ低減

    • URL

      https://www.vision.ict.e.titech.ac.jp/projects/DenoisedRealDPM/index-j.html

  • [Remarks] ダイナミックプロジェクションマッピングへの高速RGB+IRプロジェクタの導入

    • URL

      https://www.vision.ict.e.titech.ac.jp/projects/dyn_depth/index-j.html

  • [Remarks] 液体レンズを用いた高速焦点追従投影システム

    • URL

      https://www.vision.ict.e.titech.ac.jp/projects/DynFocalTracking/index-j.html

  • [Remarks] パストレーシングを用いたプロジェクションマッピングのノイズ評価指標に関する検討

    • URL

      https://www.vision.ict.e.titech.ac.jp/projects/PathtracingDPM_Evaluation/index-j.html

  • [Remarks] E.S.P.: 投影型錯覚を利用したエアホッケーの運動知覚操作

    • URL

      https://www.vision.ict.e.titech.ac.jp/projects/dyn_hack/index-j.html

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi