2018 Fiscal Year Research-status Report
An augmented reality type realistic communication method to maintain consistency of the light source environment
| Project/Area Number |
17K00271
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
床井 浩平 和歌山大学, システム工学部, 准教授 (70188746)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 臨場感通信 / テレイグジスタンスロボット / 遠隔体験共有 / 遠隔操作指示 / 全方位画像 / RGB-Dカメラ / 仮想現実 / 拡張現実 |
|---|
| Outline of Annual Research Achievements |
遠隔地の作業者（ロボット）の周辺の光源環境を全方位カメラ（全天球カメラ）で取得し，ネットワークを介してリアルタイムに観測者（操縦者）側で再生するシステムの開発を継続して行った。このシステムは遠隔地の作業者の視界を観測者に伝送し，そこに相互の姿勢を互いの視界に重畳することにより，作業者と観測者が体験を共有して各種の実験を行う。この作業者と観測者の双方が HMD（ヘッドマウンテッドディスプレイ）を装着して作業者側に設置した全方位カメラで取得した遠隔地の光源環境や作業者の HMD に装着したステレオカメラの映像をネットワーク経由で指示者に伝送することにより、作業者に指示（ロボットの操縦）を観測者が作業者と同じ環境下にいる臨場感のもとに行うことが可能である。
本年度はこのシステムの遠隔地側に深度画像（距離画像）も同時に撮影可能な RGB-D カメラを接続し，それにより取得した作業者の近景のカラー画像と深度画像をネットワークを介して観測者側に伝送し、観測者側で三次元形状として再構成する機能の追加を行った。これにより遠隔地の近景に関しては、作業者の視点を固定したまま観測者が任意の方向から観測することが可能になる。また、その近景は遠隔地に置かれたままの状況を観測者側で再現するだけでなく、遠隔地の光源環境を削除し、観測者側の光源環境に置き換えて再現することにより、作業者の近景を観測者の環境における近景として再現する。これにより、例えば月の石を地上に持ってきて観測しているように見せかけることができる。
なお，開発したシステムはオープンソースソフトウェアとして公開し，関連する実験などに使用されている． https://github.com/tokoik/ted
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
システムに多様なセンサデバイス（HMD、全方位カメラ、ステレオカメラ、ジェスチャセンサ、RGB-D カメラ）を接続したことによりソフトウェアが非常に複雑化したことと、多様な実験に対応するためにシステムの設定を任意に変更可能にしたこと、およびこれらの多様なデータをまとめてネットワークで伝送する必要があるために符号化（圧縮）や通信手順の設計も複雑化したことにより、コーディング量やデバッグの負担が予想以上に増加したため。
|
| Strategy for Future Research Activity |
RGB-D カメラで取得した深度画像からの形状再構成手法や、それに対する光源環境の置き換え手法は、個別にプロトタイプとして実装は行っているものの、これらをシステムに統合して完全に動作できるまでには至っていない。今後はこれらと合わせ、複数の全方位画像を用いて光源環境に関しても距離を取得する機能を追加する。この機能により観測者の視点の位置の変化に対して、その視界に環境映像の方向だけでなく位置も反映することができる（６自由度）。複数の全方位画像から全方位の距離画像を求める手法もすでに開発している。本年度はこれらの実装を進め、システムに統合する。
|
| Causes of Carryover |
研究発表を予定し原稿の投稿も完了していた国内学会の日程が学内業務と重なり、発表を取り消ししたために旅費分に残額が出た。残額については国内学会（NICOGRAPH2019、11月2-4日、名古屋市）での発表を追加し、その旅費として使用する。
|
Research Products
(2 results)
