2017 Fiscal Year Research-status Report
An augmented reality type realistic communication method to maintain consistency of the light source environment
| Project/Area Number |
17K00271
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
床井 浩平 和歌山大学, システム工学部, 准教授 (70188746)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 全方位画像 / 全天球カメラ / 三次元形状再構成 / 仮想現実 / 拡張現実 / 遠隔体験共有 / 遠隔操作指示 / テレイグジスタンスロボット |
|---|
| Outline of Annual Research Achievements |
遠隔地の光源環境を全方位カメラ（全天球カメラ）で取得し，ネットワークを介してリアルタイムに観測者（指示者）側で再生するシステムを開発した．また現実の光源環境を用いて仮想物体を現実の映像に合成する際の陰影の整合性をリアルタイムに維持する手法を開発した．これらの意義は，遠隔地の光源環境を単に360°映像として観測するだけでなく，異なる環境下にある現実同士を拡張現実 (AR) 技術を用いて合成する際の要素技術となる点にある．
これをもとに遠隔地にいる作業者の視界を指示者に伝送し，そこに相互の姿勢を互いの視界に重畳することにより，作業者と指示者が体験を共有して各種の実験を行うためのシステムの開発を行った．このシステムでは作業者と指示者の双方が HMD を装着し，作業者側に設置した全天球カメラで取得した遠隔地の光源環境，もしくは作業者の HMD に装着したステレオカメラの映像をネットワーク経由で指示者に伝送して，指示者が作業者の環境下にいる臨場感のもとに作業者に指示を行うことが可能である．
なお，開発したシステムはオープンソースソフトウェアとして公開し，関連する実験などに使用されている．
https://github.com/tokoik/ted
現在はこのシステムにカラー画像のほかに深度画像（距離画像）も同時に撮影可能な RGB-D カメラを複数接続し，遠隔地の対象物の形状をリアルタイムに取得して，観測者側で再構成するシステムの開発を行っている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
形状再構成の手法や物体表面のアルベドの推定手法は既に開発済みだが，当初，形状取得に使用するために使用する深度センサは複数の同時使用に手間がかかるため，2017年に発売された異なる深度センサへの切り替えを行っている．この処理が完了していないため，複数のセンサを使用した場合のキャリブレーション手法（各センサの姿勢とレンズパラメータの取得）が完了していない．その一方，本年度の計画の遠隔地の光源環境による陰影付けなどの実装は完了しているため，エフォートが十分に確保できない状況ではあるものの，全体としてほぼ順調に進展していると考えている．
|
| Strategy for Future Research Activity |
深度センサの切り替え作業を完了し，早急にキャリブレーション手法の実装を行う．また，全方位カメラからの映像取得とネットワーク伝送を現在の Motion JPEG から H.264 などのより効率的な方式に切り替える．そこに複数の RGB-D カメラのカラー画像と深度画像を追加したものをネットワークを介して観測者側に転送し，観測者側でキャリブレーションと形状の再構成，およびアルベドの推定とそれにもとづくリライティングを行い，観測者に提示するプロセスを完成させる．さらに，これを実際の遠隔環境下で運用し，性能や実用性，および課題などについて検討する．
|
