2019 Fiscal Year Annual Research Report
Communicative instruction media using X-person perspective video
| Project/Area Number |
17H01772
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北原 格 筑波大学, 計算科学研究センター, 教授 (70323277)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 多視点映像 / 教示映像 / 映像コミュニケーション / 不特定人称視点 / 自由視点映像 |
|---|
| Outline of Annual Research Achievements |
今年度は、「閲覧インタフェースの開発」と「コンテキスト理解技術との統合」に取組んだ。
「閲覧インタフェースの開発」：実用的なコミュニケーション型教示映像メディアを実現するためには、幅広いユーザにとって使いやすい映像閲覧インタフェースを実現する必要があった。様々なカメラ操作や入力インタフェースを統一的に扱うことを目的として、３次元仮想空間における操作プラットホームを構築した結果、３次元的カメラ操作による直感的な映像閲覧が実現された。カメラ操作の設計時には、実証実験を通じた教示現場からの要望を積極的に採用し、上下左右前後へのカメラの移動に加え、注目物体の指定、焦点や照明の変更、観察人称の切り替えなどを実装した。入力インタフェースとしては、現場からの要望が多いマルチタッチ入力や加速度センサ機能を有する携帯端末を用いる方法を導入した。
「コンテキスト理解技術との統合」：各種センサを撮影空間に設置することが可能な教示現場では、それらの情報を積極的に利用して、撮影シーンや作業内容の認識理解に関する研究に取り組んだ。それらの結果から、最適な観察位置やカメラワークを深層学習によって自動的に推定し、ユーザの映像閲覧への集中を支援する提示方式を実現した。多視点映像の撮影と同時に、RGB-Dカメラや３次元位置センサを用いて注目対象人物や物体の位置を計測し、注目点・焦点・照明の再設定への利用、状況理解に適した観察位置からの映像生成、人称切り替え時の視点遷移パスの設定を実現した。さらにモーションキャプチャ装置が利用可能な環境では、コミュニケーション相手の指示や視線と言った非言語情報を獲得し、AR技術を用いて提示映像に重畳提示することにより、教示内容の理解の深化を図った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2019年度は、「閲覧インタフェースの開発」と「コンテキスト理解技術との統合」について重点的に取り組んだ。「閲覧インタフェースの開発」については、前年度確立した開発ワークフローに基づいた研究協力者との協議を繰り返し、実利用性の高いインタフェースを開発し、児童発達心理学の教育現場における実証実験を実施した。
「コンテキスト理解技術との統合」では、スポーツ状況分析をターゲットとした多視点映像の自動切替提示方式を実現した。具体的には、画像処理技術を用いて取得したスポーツシーンを認識理解するための情報（選手やボールの位置・速度）と、そのシーンを観察するのに適したカメラワークの関係を深層学習によって学習することにより、ゲーム状況に応じたカメラ切り替え処理の自動化を実現した。また、HMDに内蔵された加速度センサを用いて視聴者の注目している物体や視線方向などを計測し、それに応じて適切な見え方の映像を提示する方式を実現した。
以上のように、現在までの研究進捗状況はおおむね計画通りと言える。
|
| Strategy for Future Research Activity |
2019年度までの研究進捗はおおむね計画通りであるが、最終年度となる次年度は研究計画の総括を念頭に実証実験を中心とした研究開発を推進する。
作業者間のコミュニケーションが発生するインタラクティブな指導・教示現場として、スポーツトレーニング、技能伝承（セラピストの育成、医療施術）を取り上げ、各々連携研究者と共同で評価実験を実施する。具体的には、これまでに構築した撮影装置を実際の教示現場に持ち込み、シナリオに沿った撮影実験を実施する。映像生成技術を用いて生成した多視点スライディング映像を閲覧インタフェースを用いて提示する。コミュニケーションや作業内容の理解情報が獲得可能なシーンでは、それらの情報に基づいて多視点スライディング映像を自動生成する。実験毎に教示現場従事者を対象としたアンケート調査を実施し、提案手法の有効性を検証するとともに、開発課題を洗い出し対策を講じることで実用性向上を目指す。
その際、スポーツトレーニングでは客観的な自己の観察（一人称／三人称視点切り替え）や相手の立場にたったプレー検証（一人称／二人称視点切り替え）が肝要であり、本課題の応用分野として適している。連携研究者と協力し、映像情報を用いた戦略分析・指導や競技者支援における提案手法の有効性を検証する。技能伝承においては、連携研究者との協議によって、コミュニケーション理解に重要な人称設定や、撮影環境、映像閲覧環境について現実的な設定を行い、トレーニング・教育シナリオを作成し、実証実験を実施する。
|
Research Products
(13 results)
