2020 Fiscal Year Annual Research Report
Communicative instruction media using X-person perspective video
| Project/Area Number |
17H01772
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北原 格 筑波大学, 計算科学研究センター, 教授 (70323277)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 多視点映像 / 教示映像 / 映像コミュニケーション / 不特定人称視点 / 自由視点映像 |
|---|
| Outline of Annual Research Achievements |
実用的なコミュニケーション型教示映像メディアを実現するためには、幅広いユーザにとって使いやすい映像閲覧インタフェースを実現する必要があるため、様々なカメラ操作や入力インタフェースを統一的に扱うための３次元操作プラットホームを構築した。それによって、３次元的なカメラ操作が可能となり、直感的な映像閲覧を実現した。カメラ操作は、実証実験を通じて得た教示現場からの要望に基づき、上下左右前後へのカメラの移動に加え、注目物体の指定、焦点変更の機能を実装した。入力インタフェースとしては、これまで自由視点映像提示法として開発してきた３次元位置センサやモーションキャプチャ装置による身体動作を用いる方法や、マルチタッチ入力や加速度センサ機能を有する携帯端末を用いる方法を導入した。さらに、位置姿勢計測機能を有するHMDを用いて、空間中を自由に飛び回ったりコミュニケーション相手の視野に飛び移ったりする閲覧インタフェースを実現した。
教示現場に設置したセンサからの情報を利用して撮影シーンや作業内容の認識理解を行い、その結果に基づいて観察位置やカメラワークの自動的生成取り組んだ。多視点映像と同時に撮影したRGB-Dデータを用いて注目対象人物や物体の位置を計測し、コミュニケーション相手の指示や視線と言った非言語情報を獲得することで注目点・焦点の再設定への活用を検討した。
作業者間のコミュニケーションが発生するインタラクティブな指導・教示現場として、スポーツトレーニング、技能伝承（セラピストの育成、医療施術）を取り上げ、各フィールドの研究者と共同で評価実験を実施した。
|
| Research Progress Status |
令和2年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和2年度が最終年度であるため、記入しない。
|
Research Products
(14 results)
