2017 Fiscal Year Annual Research Report
Communicative instruction media using X-person perspective video
| Project/Area Number |
17H01772
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
北原 格 筑波大学, 計算科学研究センター, 准教授 (70323277)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
亀田 能成 筑波大学, 計算科学研究センター, 教授 (70283637)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 多視点映像 / 教示映像 / 映像コミュニケーション / 不特定人称視点 / 自由視点映像 |
|---|
| Outline of Annual Research Achievements |
「多視点映像撮影システムの構築」と「多視点スライディング方式の拡張」に取り組んだ。
「多視点映像撮影システムの構築」では、（１）無線操作可能な小型カメラを教示現場に必要台数設置することによりケーブリングの手間を廃し、簡易に設営可能な多視点映像装置を構築した。フレーム補間技術を多視点映像に適用することにより、同期ズレの影響を軽減した多視点スライディング映像生成を可能とし、カメラ間の同期ズレの問題を解決した。（２）多視点画像上での対応点関係からカメラの位置姿勢を自動的に推定するStructure from Motion(SfM)処理を用いて、教示現場での多視点キャリブレーション処理行い、基準点群の設置・撮影や対応関係の獲得が困難な状況に対応可能な方式を実現している。（３）全方位カメラを用いて多視点映像を撮影することにより、教示現場全域の多面的な観察を可能とした。
「多視点スライディング方式の拡張」では、提示映像のさらなる高品質化を目指し、多視点スライディング方式の映像生成機能の拡張に取り組んだ。具体的には、（１）多視点映像に３次元映像処理技術を適用することで注目物体の３次元情報を推定し、空間中を動き回る被写体を対象とした多視点スライディング映像生成・提示を実現した。（２）撮影シーン内側から外側を観察するInside-Out映像と、外側から内側を観察するOutside-In映像と、両カメラ間を視点遷移合成映像を組み合わせることにより、複数の称視点映像を連続的に観察可能とした。さらに、多視点映像を用いて復元した撮影シーンの３次元情報を手がかりとした画面再構成法により、カメラを設置していない視点位置からの観測も可能とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
平成29年度では、応募課題の基盤となる「多視点映像撮影システムの構築」と「多視点スライディング方式の拡張」の基本的技術について重点的に取り組んだ結果、研究計画を全て達成した。さらに、平成30年度以降の計画であった「閲覧インタフェースの開発」について、前倒しで研究開発に着手した。また、同様に平成30年度以降の計画である「実証実験」における、技能伝承（セラピストの育成、医療施術）について、連携研究者と共同で評価実験を開始し、一定の知見を得た。以上のように、現在までの研究進捗状況は当初計画以上に進んでいる。
|
| Strategy for Future Research Activity |
平成29年度の研究進捗は計画以上に進んでいるが、次年度以降もそのアドバンテージを活用し、計画以上の実績が上がるよう研究活動を推進する。特に、「閲覧インタフェースの開発」では、インタフェース構築・改善と、それに対する実際のユーザからのユーザビリティに関するアンケート調査を繰り返すことにより、実用性の向上を目指す。「コンテキスト理解技術との統合」については、まずはスポーツシーンを対象としたコンテキスト理解処理を導入し、それを教示するのに最適な視点からの映像生成技術を確立する。
|
