An augmented reality type realistic communication method to maintain consistency of the light source environment

• Project/Area Number: 17K00271
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Human interface and interaction
• Research Institution: Wakayama University
• Principal Investigator: TOKOI KOHE 和歌山大学, システム工学部, 准教授 (70188746)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Project Status: Completed (Fiscal Year 2019)
• Budget Amount: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2019: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2017: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: バーチャルリアリティ / オーギュメンテッドリアリティ / テレイグジスタンス / 再照明 / 全天球画像 / ステレオ形状計測 / テレイグジスタンスロボット / 遠隔体験共有 / 遠隔操作指示 / 全方位画像 / RGB-Dカメラ / 拡張現実 / 臨場感通信 / 仮想現実 / 全天球カメラ / 三次元形状再構成 / コンピュータグラフィックス / テレイグジスタンスタンス / 形状再構成 / 照明の置き換え

Outline of Final Research Achievements

In this research project, I studied a method of measuring the light source environment at a remote place and the shapes of objects at that place, and then transmit them to another place via a network to reproduce it, in order to make the objects at a remote place appear to be placed around the observer. This method removes the influence of the remote light source environment from the appearance of the transmitted remote object shape and replaces it with the observer light source environment. This makes it possible to investigate remote objects as if they were on the observer's desk, or to make a person in a remote place appear to be in the same room as myself.

Academic Significance and Societal Importance of the Research Achievements

災害現場や宇宙のように、人が現地に行って調査を行うことが困難だったり、非常に大きなコストがかかったりするような場合に、人の代わりにロボットを用いることが考えられている。この場合、離れたところにいる観測者は現地の経験を持たない場合が多く、ロボットが目にする現地の状況をそのまま観測者に伝達しても、観測者の環境下での知識や経験をもとに評価することが難しい。この研究は、そういう現場の状況を観測者の環境下に置いて観察できる手段を提供する。これは離れたところにいる人を、画面の中ではなく、自分と同じ空間にいるという存在感の伝達にも応用できる。

Research Products

• [Presentation] 遠隔地の視覚的環境を観測者の周囲に再現する 実験システムの開発と UZUME 計画への応用 (2019)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA）
  • Organizer: 第63回宇宙科学技術連合講演会
• [Presentation] 遠隔地の視覚的環境を観測者の周囲に再現する実験システムの開発 (2019)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA）
  • Organizer: 画像関連学会連合会第6回秋季大会
• [Presentation] 遠隔地の視覚的環境を観測者の周囲に再現する実験システムの開発と UZUME 計画への応用 (2019)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA）
  • Organizer: ロボット学会2019オープンフォーラム
• [Presentation] UZUME計画：環境の異なる 遠隔地のテレイグジスタンスロボットの視覚の再現 (2018)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA）
  • Organizer: 第62回宇宙科学技術連合講演会
• [Presentation] 遠隔地の作業者との体験共有のための実験システム (2018)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA），岡田浩之（玉川大学）
  • Organizer: 情報処理学会 INTERACTION2018
• [Presentation] 遠隔地のロボットと視覚を共有して操作する実験システムの開発 (2018)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），河野功（JAXA）
  • Organizer: 電子情報通信学会 PRMU CNR
• [Presentation] 光源環境を反映したリアルタイム映像合成 (2017)
  • Author(s): 早川玲央（和歌山大学）, 床井浩平（和歌山大学）
  • Organizer: 芸術科学会 NICOGRAPH2017
• [Presentation] UZUME計画における遠隔地のロボットの光源環境の取得・伝送と再現 (2017)
  • Author(s): 床井浩平（和歌山大学），大山英明（産総研），岡田浩之（玉川大学），河野功（JAXA）
  • Organizer: 第６１回宇宙科学技術連合後援会
• [Remarks] 遠隔地の視覚的環境を観測者の周囲に再現する実験システム
  • URL: https://github.com/tokoik/ted
• [Remarks] 遠隔地の視覚的環境を観測者の周囲に再現する実験システム
  • URL: https://github.com/tokoik/ted/