• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Interactive Omni PROCAMS and its applications

Research Project

Project/Area Number 20H04221
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionTokyo Institute of Technology

Principal Investigator

小池 英樹  東京工業大学, 情報理工学院, 教授 (70234664)

Co-Investigator(Kenkyū-buntansha) 宮藤 詩緒  東京工業大学, 情報理工学院, 助教 (90883497)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000)
Fiscal Year 2021: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2020: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Keywordsプロジェクタカメラシステム / 360度カメラ / 全天周プロジェクション / 超魚眼画像 / 画像認識 / プロジェクタ・カメラ・システム / プロジェクターカメラシステム
Outline of Research at the Start

本研究課題では,光軸を一致させたプロジェクタとカメラに,超魚眼レンズを組み合わせることで,水平方向360° に情報投影が可能で,かつユーザによる対話が可能な対話型全天周プロジェクタ・カメラ・システム(Interactive Omni PROCAMS)とその技術基盤,および応用システムの研究開発を行う.Omni PROCAMSの特徴は,ユーザは普段はプロジェクタとその投影面を意識することはないが,空間中の任意の位置に紙や手といった投影面をかざすと,そこがインタラクティブサーフェスとなる点である.

Outline of Annual Research Achievements

2022年度は、開発した光軸一致型PROCAMSを用いて、一辺が10cm程度の多角形タイル型(3角形、4角形、5角形)の半透明ディスプレイを複数個用いた、ユーザカスタマイザブルな立体型ディスプレイを開発した。各タイルは2021年度に開発されたものを用い、3次元プリンタを用いた半透明素材と赤外線に反応する素材で構成されている。各タイルの外周部分には小型のマグネットを配置して、タイル同士を簡単に接合・分離可能とした。ユーザは基本タイルを組み合わせることで、好きな形状の立体ディスプレイを構成することが可能である。PROCAMはこの組み立てられた立体ディスプレイを撮影し、撮影映像に含まれる各タイルの識別子、位置・姿勢を認識する。認識結果に基づき描画システムが各タイルに投影すべき画像情報を生成し、各タイル上に正確に投影することができた。従来の立体ディスプレイはその形状が決まっていたが、今回開発した立体ディスプレイは、ユーザが好きな形状を組み立てることが可能で、かつ、個々のタイル上に独立した情報を表示することができるようになった。本研究成果は国際会議International Conference on Artificial Reality and Teleexistence (ICAT-EGVE2022)にフルペーパーとして採択され、Best Paper Honorable Mentionを受賞した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

開発した光軸一致型PROCAMSと半透明多角形タイルを用いて、ユーザカスタマイザブルな立体ディスプレイ・システムを実現することができた。2021年度は個々のタイルに埋め込まれた赤外線2次元マーカーの認識技術の開発に焦点を当てたが、2022年度は複数のタイルの同時認識を実現した。omniprocamのカメラには3次元的に組み合わせられた複数個のタイルが同時に撮影される。我々の開発したマーカー認識手法はこの一枚の画像に撮影されている、形や大きさの異なるマーカーを高精度の認識することができた。結果として、個々のタイル位置に個別の情報を投影することができた。赤外線LEDの配置によってマーカーからの反射光の安定性が変化するので、LEDの調整には試行錯誤が必要であったが、現在は安定して計測できるようになっている。

Strategy for Future Research Activity

今後の推進方策としては、以下を考えている。
開発したomniprocamの新たな展開として、擬似立体映像の投影に取り組むことを計画している。具体には、小さな傷をつけた透明アクリル素材を複数枚重ね合わせ、この傷上に映像を投影することで奥行き感のある擬似立体映像が実現できると考えている。この開発に取り組みたい。

Report

(3 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (4 results)

All 2022 2021

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (2 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] FroggyHand: A Gesture Based Control System for Omni-Directional Projections2022

    • Author(s)
      Hoffard Jana、Miyafuji Shio、Pardomuan Jefferson、Sato Toshiki、Koike Hideki
    • Journal Title

      in Augmented Humans 2022

      Volume: - Pages: 298-300

    • DOI

      10.1145/3519391.3524027

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Real-time Projection of Lip Animation onto Face Masks using OmniProcam2021

    • Author(s)
      Takagi Luna、Sato Toshiki、Miyafuji Shio、Koike Hideki
    • Journal Title

      in ACM SIGGRAPH 2021 Posters

      Volume: - Pages: 1-2

    • DOI

      10.1145/3450618.3469171

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] OmniTiles - A User-Customizable Display Using An Omni-Directional Camera Projector System2022

    • Author(s)
      Jana Hoffard, Shio Miyafuji, Jefferson Pardomuan, Toshiki Sato, Hideki Koike
    • Organizer
      The 32nd International Conference on Artificial Reality and Telexistence & the 27th Eurographics Symposium on Virtual Environments (ICAT-EGVE2022)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] FroggyHand: A Gesture Based Control System for Omni-Directional Projections2022

    • Author(s)
      Jana Hoffard, Shio Miyafuji, Jefferson Pardomuan, Toshiki Sato, and Hideki Koike
    • Organizer
      Augmented Humans International Conference 2022 (AHs '22)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2020-04-28   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi