• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Low-latency Vision Augmentation Integrating High-Speed Human and Environmental Measurements with Field-of-View Prediction

Research Project

Project/Area Number 22KJ0753
Project/Area Number (Other) 22J01340 (2022)
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeMulti-year Fund (2023)
Single-year Grants (2022)
Section国内
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionCluster, Inc. Metaverse Laboratory (2023)
The University of Tokyo (2022)

Principal Investigator

廣井 裕一  クラスター株式会社(メタバース研究所), メタバース研究所, シニアリサーチサイエンティスト

Project Period (FY) 2023-03-08 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords視覚拡張 / 接眼ディスプレイ / 低遅延 / 頭部トラッキング / 低遅延視覚拡張 / 拡張現実感 / 光学歪み較正 / ニューラルレンダリング
Outline of Research at the Start

本研究は、人間の知覚よりも速い速度で視界の書き換えを実現する視覚拡張技術を提案する。視覚拡張は、ユーザの視界に直接干渉することにより、視覚機能を制御・強化する概念である。近年では、計算機により適切な視覚刺激を計算し、頭部搭載型ディスプレイ等により装着者の視界を直接書き換える視覚拡張システムが提案されている。一方で、視覚刺激を提示する際の遅延に関する検討は十分でなく、実社会における視覚拡張の応用を狭めている。本研究では、実環境や人間の視覚・行動を高速度に計測し、装着者の視界変化を予測する。その後、実際の変化に先んじて視野に提示すべき視覚刺激を計算することで、低遅延視覚拡張システムの実現を目指す。

Outline of Annual Research Achievements

本研究は、低遅延な視覚拡張技術の確立を目標とし、低遅延な映像提示が可能な接眼ディスプレイ光学系、接眼ディスプレイと眼の空間較正、および視覚計測に基づく視覚刺激の提示を統合的に研究している。
本年度は、低遅延な映像提示が可能な接眼ディスプレイの開発において、ステアリングミラーと二次元ラテラル位置センシング素子による同軸光学系を使用し、頭部をトラッキングしながら外部から眼前に映像を投射できる低遅延接眼ディスプレイシステムを実現した。この成果はVR分野のトップ国際論文誌であるIEEE Transactions on Visualization and Computer Graphics (TVCG)に採録された。さらに、このモジュールを複数台同期制御することにより、映像を提示できる空間の拡張を実現する方法についても検討を進めた。また、頭部トラッキングのための光マーカに高周波変調光を利用し、位置センシング素子にハイパスフィルタを用いることで、頭部運動のトラッキングノイズを低減する手法についても研究を行った。
加えて、可変波長板とデジタルマイクロミラーを組み合わせて低遅延で動作する画素単位での偏光カラーフィルタを実現し、このフィルタを高速に時間多重同期させることで入射光の色減算を可能とするディスプレイを提案した。この成果も、同じく国際論文誌IEEE TVCGに採録された。本手法はは、低遅延かつ高速な入射光の色減算が可能となるため、色覚の再現や補償など、ユーザの視覚特性に応じた低遅延の視覚拡張への応用が期待される。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年は、研究計画において記載した研究項目のうち、「低遅延な映像提示が可能な接眼ディスプレイ光学系」「視界の高速度計測」に向けた要素技術が順調に進展している。

Strategy for Future Research Activity

次年度は、これまでに開発した低遅延ディスプレイ光学系および空間較正、頭部運動予測と頭部位置に従った高精細映像提示に関する要素技術を統合し、視覚拡張システムの構築と評価を行う。また、開発したシステムを用いてユーザ実験を行い、瞬間的な変化に先んじて視界変調が可能かどうかを評価する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Annual Research Report
  • Research Products

    (6 results)

All 2024 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (3 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] StainedSweeper: Compact, Variable-Intensity Light-Attenuation Display with Sweeping Tunable Retarders2024

    • Author(s)
      Hiroi Yuichi、Hiraki Takefumi、Itoh Yuta
    • Journal Title

      IEEE Transactions on Visualization and Computer Graphics

      Volume: 30 Issue: 5 Pages: 2682-2692

    • DOI

      10.1109/tvcg.2024.3372058

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Low-Latency Beaming Display: Implementation of Wearable, 133 μs Motion-to-Photon Latency Near-Eye Display2023

    • Author(s)
      Hiroi Yuichi、Watanabe Akira、Mikawa Yuri、Itoh Yuta
    • Journal Title

      IEEE Transactions on Visualization and Computer Graphics

      Volume: 29 Issue: 11 Pages: 4761-4771

    • DOI

      10.1109/tvcg.2023.3320212

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Neural distortion fields for spatial calibration of wide field-of-view near-eye displays2022

    • Author(s)
      Yuichi Hiroi, Kiyosato Someya, Yuta Itoh
    • Journal Title

      Optics Express

      Volume: 30 Issue: 22 Pages: 40628-40628

    • DOI

      10.1364/oe.472288

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] StainedSweeper: Compact, Variable-Intensity Light-Attenuation Display with Sweeping Tunable Retarders2024

    • Author(s)
      Hiroi Yuichi、Hiraki Takefumi、Itoh Yuta
    • Organizer
      IEEE International Conference of Virtual Reality 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Low-Latency Beaming Display: Implementation of Wearable, 133 μs Motion-to-Photon Latency Near-Eye Display2023

    • Author(s)
      Hiroi Yuichi、Watanabe Akira、Mikawa Yuri、Itoh Yuta
    • Organizer
      IEEE International Conference of Virtual Reality 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] NeARportation: A Remote Real-time Neural Rendering Framework2022

    • Author(s)
      Yuichi Hiroi, Yuta Itoh, Jun Rekimoto
    • Organizer
      The 28th ACM Symposium on Virtual Reality Software and Technology (VRST '22)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi