Realization of Seamless Augmented Reality by Reproduction of Light Field

• Project/Area Number: 23K24880
• Project/Area Number (Other): 22H03624 (2022-2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2022-2023)
• Section: 一般
• Review Section: Basic Section 61020:Human interface and interaction-related
• Research Institution: University of Tsukuba
• Principal Investigator: 掛谷 英紀 筑波大学, システム情報系, 准教授 (70334050)
• Co-Investigator(Kenkyū-buntansha): 星野 准一 筑波大学, システム情報系, 准教授 (40313556)
• Project Period (FY): 2022-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000); Fiscal Year 2026: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000); Fiscal Year 2025: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2024: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2023: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
• Keywords: 3次元画像工学 / 拡張現実 / 立体映像 / ３次元画像工学

Outline of Research at the Start

本研究プロジェクトでは、日常生活環境に溶け込むシームレスな複合現実感を生成する技術基盤を構築する。具体的には、透過型高精細裸眼立体ディスプレイ技術と、観察者の目の周辺に高密度光線空間（ライトフィールド）を生成する技術の２つのテーマに取り組む。これらの技術を応用し、焦点調節が任意の奥行きに合わせられる携帯モニタやニアアイディスプレイを実現することを目指す。さらに、開発された映像技術基盤を用いて、ハードウェア組み込み型広告という新たな概念を創出する。

Outline of Annual Research Achievements

本研究プロジェクトの目的である時分割パララックスバリアによるシームレスな複合現実環境を実現するため、初年度は主に時分割パララックスバリアによる光線空間の再生に取り組んだ。しかしながら、この方法では提示画像の輝度の確保が難しいことと、広い視域の確保が難しいという問題があった。そこで、初年度では同時に入り合いフレネルレンズを用いた粗インテグラルイメジングによる光線再生手法の開発にも取り組んだ。初年度はレンズアレイの要素レンズとしてサイズの大きいレンズを選択していたため、隣接する要素画像間の視差が大きく、それらを入り合いレンズでブレンドするときにボケの量が大きくなる、要素画像間の不連続性が残るといった問題があった。そこで、昨年度はその問題を解消するため、サイズの小さな入り合いフレネルレンズを要素レンズに用いて、それにより粗インテグラルイメジングによる光線空間再生を実現するシステムを構築した。その結果、提示像の不連続性が解消すると同時にボケが小さくなり、ホログラム写真に近い画質を有する実像型、虚像型空中立体像を提示することに成功した。この方式では要素レンズが小さくなることで視域が狭くなるという問題があるが、それを解決するために観察者のフェーストラッキングを導入し、観察者が広い視域にわたって立体像を観賞できる環境を構築した。この方法では、要素画像が小さくなり、その数が増えることに応じてレンダリングの必要な計算量が大幅に増加するが、マルチパスレンダリングを導入することで、要素画像数が多い場合もリアルタイムに立体像を提示することに成功した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実現した狭ピッチ入り合いフレネルレンズを用いたインテグラルイメジングによる空中立体像は、各所の展示で極めて高い評価を受けており、実用に資するとの評価を受けているため。

Strategy for Future Research Activity

今後はこれまでに開発した狭ピッチ入り合いフレネルレンズを用いたインテグラルイメジングを拡張現実に応用するため、半透過型のレンズアレイを開発し、それを用いた光学シースルーの空中立体像提示装置を開発することを計画している。

Research Products

• [Int'l Joint Research] セントラルフロリダ大学(米国)
• [Journal Article] [Paper] Near-Eye Light-Field Display with Time-Division and Color Multiplexing to Induce Focal Accommodation (2024)
  • Author(s): Borjigin Garimagai、Kakeya Hideki
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 12 Issue: 1 Pages: 61-67
  • DOI: 10.3169/mta.12.61
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Viewing zone expansion of a dual-viewer autostereoscopic display with inclined interleaved linear Fresnel lens arrays and a time-division quadruplexing directional backlight (2023)
  • Author(s): Borjigin Garimagai、Kakeya Hideki
  • Journal Title: Optics Express Volume: 31 Issue: 11 Pages: 17321-17321
  • DOI: 10.1364/oe.489879
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] Coarse Integral Imaging Displays with Interleaved Fresnel Lenses (2023)
  • Author(s): Borjigin Garimagai、Kakeya Hideki
  • Journal Title: SID Symposium Digest of Technical Papers Volume: 54 Issue: 1 Pages: 518-521
  • DOI: 10.1002/sdtp.16607
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Coarse Integral Volumetric Imaging Display with Time and Polarization Multiplexing (2023)
  • Author(s): Borjigin Garimagai、Ding Yuqiang、Semmen John、Safa Hosna Tajvidi、Kakeya Hideki、Wu Shin-Tson
  • Journal Title: Photonics Volume: 11 Issue: 1 Pages: 7-7
  • DOI: 10.3390/photonics11010007
  • Peer Reviewed / Open Access / Int'l Joint Research
• [Journal Article] [Paper] Autostereoscopic Display Based on Time-Division Multiplexing Parallax Barrier Using a Monochrome LCD Panel (2023)
  • Author(s): Taoka, Y. and Kakeya, H
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 11 Issue: 2 Pages: 61-66
  • DOI: 10.3169/mta.11.61
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Journal Article] [Paper] Reduction of Crosstalk in Time-Division Multiplexing Parallax Barrier with Low Power Consumption (2023)
  • Author(s): Mitomi, H. and Kakeya, H
  • Journal Title: ITE Transactions on Media Technology and Applications Volume: 11 Issue: 2 Pages: 56-60
  • DOI: 10.3169/mta.11.56
  • ISSN: 2186-7364
  • Peer Reviewed / Open Access
• [Presentation] Coarse Integral Imaging Displays with Interleaved Fresnel Lenses (2023)
  • Author(s): Borjigin, G. and Kakeya, H
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] Integral Imaging Using a Lens Array Composed of Fine Interleaved Fresnel Lenses (2023)
  • Author(s): Omori, H. and Kakeya, H
  • Organizer: IDW
  • Int'l Joint Research
• [Presentation] Coarse Integral Imaging Displays with Interleaved Fresnel Lenses (2023)
  • Author(s): Borjigin, G. and Kakeya, H.
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] Autostereoscopic Display for Two Viewers Providing Images Specific to Each Viewpoint (2022)
  • Author(s): Borjigin, G. and Kakeya, H
  • Organizer: SID Display Week
  • Int'l Joint Research
• [Presentation] Super-Multiview Tabletop Display with Two-Dimensional Parallax Based on Time Division Multiplexing Parallax Barrier (2022)
  • Author(s): Takeuchi, G. and Kakeya, H.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Presentation] Realization of Smooth Motion Parallax by Coarse Integral Imaging with Interleaved Elemental Fresnel Lenses (2022)
  • Author(s): Kakeya, H. and Borjigin, G.
  • Organizer: International Display Workshop
  • Int'l Joint Research
• [Remarks] 筑波大学視覚メディア研究室
  • URL: https://visual-media-lab.github.io/
• [Patent(Industrial Property Rights)] 裸眼立体画像表示装置、及び裸眼立体画像表示方法 (2022)
  • Inventor(s): 掛谷英紀
  • Industrial Property Rights Holder: 筑波大学
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 2022-568234
  • Filing Date: 2022