2018 Fiscal Year Annual Research Report
Communicative instruction media using X-person perspective video
| Project/Area Number |
17H01772
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北原 格 筑波大学, 計算科学研究センター, 准教授 (70323277)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 多視点映像 / 教示映像 / 映像コミュニケーション / 不特定人称視点 / 自由視点映像 |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き「多視点スライディング方式の拡張」と「閲覧インタフェースの開発」に取り組んだ。
「多視点スライディング方式の拡張」では、スポーツトレーニング、技能伝承などの作業者間のコミュニケーションが発生するインタラクティブな指導・教示現場で実利用な方式の開発に取り組んだ。多視点映像取得から多視点スライディング映像の生成・提示までの全ての処理をリアルタイムで実行するオンサイト視覚フィードバック方式を実装し、RGB-D映像から推定した被写体の３次元位置に基づいた映像観察者が注視すべき地点と観察方向を自動的に設定する方式を実現した。
「閲覧インタフェースの開発」では、実用的なコミュニケーション型教示映像メディアを実現するために、幅広いユーザにとって使いやすい映像閲覧インタフェースを考案した。まず、３次元仮想空間で操作プラットホームを構築し、様々なカメラ操作インタフェースを統一的に扱う事を可能とした。その結果、ユーザは３次元的にカメラ操作ができるため直感的な映像閲覧が可能となった。連携研究者の慶應大の山本・榎本と連携して、発達教育セラピストへのアンケート調査とシステム改良を繰り返す開発ワークフローを確立した。入力インタフェースとしては、マルチタッチ入力や加速度センサ機能を有する携帯端末を用いる方法を考案した。さらに、位置姿勢計測機能を有するHMDを用いて、自由に空間中を飛び回ったりコミュニケーション相手の視野に飛び移ったりする閲覧インタフェースを実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成30(2018)年度は、「多視点スライディング方式の拡張」と「閲覧インタフェースの開発」について重点的に取り組んだ。「多視点スライディング方式の拡張」で目的に設定していた、光線空間処理を用いた焦点・照明の再設定処理は、必要な光線データを取得可能な撮影システムの構築が間に合わず、十分な成果をあげるには至っていないが、2019年度以降に計画していた、多視点映像取得から多視点スライディング映像の生成・提示までの全ての処理をリアルタイムで実行するオンサイト視覚フィードバック方式の構築を進め、当初計画以上の進捗を納めた。「閲覧インタフェースの開発」については、当初計画通り開発ワークフローの確立と、それに基づく実利用可能なインタフェース開発、実証実験を実施した。
以上のように、現在までの研究進捗状況はおおむね計画通りと言える。
|
| Strategy for Future Research Activity |
平成30年度までの研究進捗はおおむね計画通りであるが、次年度以降も計画以上の実績が上がるよう研究活動を推進する。特に、「コンテキスト理解技術との統合」については、まずはスポーツシーンを対象としたコンテキスト理解処理を導入し、それを教示するのに最適な視点からの映像生成技術を確立する。「多視点スライディング方式の拡張」で実現を目指している、光線空間処理を用いた焦点・照明の再設定処理について、多視点映像撮影装置の準備が整い次第、アルゴリズムの実装に着手し、実証実験を通じてその実用性を検証する。
|
