2016 Fiscal Year Annual Research Report
Research on Human-Human telepresence
| Project/Area Number |
16H02854
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
暦本 純一 東京大学, 大学院情報学環・学際情報学府, 教授 (20463896)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ヒューマンコンピュータインタラクション / テレプレゼンス / 人間拡張 / テレコミュニケーション |
|---|
| Outline of Annual Research Achievements |
空間の制約を超えて作業を行うことへの支援は多くの波及効果を生む重要な社会基盤技術である。従来からテレプレゼンスという研究領域で多くの研究が行われてきた。本課題では、人間が他の人間と感覚を共有し遠隔共 同作業を行うことは新たな可能性を生むと考え、そのプラットフォームを実現するものである。たとえば熟練者が現場の作業員と状況を共有し現 場の状況を把握して作業教示を行う、トップアスリートなどの通常の人間が体験できないような特殊体験を多くの人間が没入的に共有する、などの応用が考えられる。これを本課題では人間=人間接続型テレプレゼンスと呼び、必要な技術要素を確立し応用可能性を実証する。
今年度は、頭部及び肩に装着可能なウェアラブル・コンピュータ、空間を三次元的に認識するプラットフォームを構築し、人間＝人間接続型テレプレゼンスの効果を検証した。頭部に複数個からなるカメラを配し、利用者の全周囲画像を取得する。その映像の回転成分を画像解析により認識することで、映像の不必要な揺れを抑制するスタビライゼーションと、利用者の頭部方向を推定する意図認識が可能になった。また、利用者が装着するカメラの映像と、周辺の空間を三次元認識した自由視点映像空間を連続的に切り替える機構を実現した。この機構により、遠隔地からの参加者が現場の状況、及び現場での装置装着者の状況をより的確に判断できることを確認した。また、当初計画を上回る成果として、周辺環境の三次元認識において顕著な性能向上があった点、頭部搭載システム以外の構成の検討と試作が進んだ点がある。また、周辺の映像を深層学習により物体認識し、環境の把握や人物の形状推定が可能なことが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
今期計画どおりに研究内容が達成できた。当初の計画以上に進展した部分としては、周辺環境の三次元認識において顕著な性能向上があった点、頭部搭載システム以外の構成の検討と試作が進んだ点がある。また、周辺の映像を深層学習により物体認識し、環境の把握や人物の形状推定が可能なことが確認できた。これらの知見は次年度の研究開発計画にも利用可能であり、さらに応用可能性を広げるものだと考えている。
|
| Strategy for Future Research Activity |
次年度は、利用者の状況により適合したスタビライゼーションアルゴリズムの実現と検証を行う。一般に、全周囲映像のスタビライゼーションは、隣接する時間に取得された2枚の画像間のオプティカルフローから、全周囲カメラの回転運動を推定し、その逆変換を画像に施すことで画像の回転運動 による画面の揺れを相殺する。提案者はこの方針に基づく処理を既に実現し一人称テレプレゼンスでの効果を確認している。しかし、この方式のみでは ユーザの歩行による上下運動の揺れなどを完全に排除することは困難だった。一方、遠隔ユーザは全周囲画像を全てを同時に見る ことはなく、HMD や CAVE を介して利用者が注視している領域はその一部である。そこで、全周囲 映像全体の画像揺れを相殺するのではなく、ユーザの注視領域の画面揺れを優先的にスタビライズする処理を遠隔ユーザ側に置く。この構成で、より効果的なスタビライズ処理を施すことができる。複数の 遠隔ユーザが同じ全周囲映像を共有している場合は、それぞれの遠隔ユーザごとの注視箇所に従って、異なるスタビライゼーション領域が設定されることになる。このように個人適合したアルゴリズムにより、より快適性の高い没入映像を構築することができると想定している。
|
