2023 Fiscal Year Annual Research Report
Building Movie Maps from 360 Degree Walking Videos for Virtual Exploration
| Project/Area Number |
21H03460
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
相澤 清晴 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 360度映像 / マルチメディア / 画像処理 / バーチャル空間 |
|---|
| Outline of Annual Research Achievements |
本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を進める。そのために、所与の地域の街路ごとに撮像した360度映像を用いたオープンワールドとなるムービーマップを構築する。取得映像を処理し、すべてのフレームに位置を割り当て、映像を交差で切り替え、方向転換を行い、地域内の歩き回りを可能とする技術基盤の構築を目指している。
本研究では、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築する。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。さらに、構築した技術の一層の飛躍を目指して、これらの技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築ができる技術基盤を目指す。さらに、360度映像表示を進展させ、3次元空間性を付与し、ユーザがアバターを扱って地域内を探訪することのできるバーチャル空間である360RVWの構築に着手した。23年度の研究実績を以下に列挙する。
■360度映像群から所与の地域のムービーマップの構築技術の継続的改善
■映像データベース更新技術の研究開発の開発
■ムービーマップ構築技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築を可能とする基盤の構築への着手
■ムービーマップの360度映像群をもちいて、3次元性を付与し、ユーザがアバターを扱い、所与の地域のバーチャル空間を探訪することのできる360RVWの構築
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
360度映像からムービーマップを構築するシステムの完成度をあげ、当初の計画に含まれていなかった下記項目の進捗を挙げたため。
■360度映像から構築するムービーマップシステム技術の継続的な改善による完成度の向上
■ムービーマップ構築技術のプラットフォーム化への着手と進展
■360度映像から構築するインタラクティブなバーチャル空間(360RVW)への着手と進展
|
| Strategy for Future Research Activity |
23年度に着手したプラットフォームの構築、360RVWの構築をより進展させる。
■プラットフォーム化により技術と利用を切り離すことができ、現在のコンテンツをよりスケールさせることができる。
■インタラクティブなバーチャル空間360RVWの構築を進め、ムービーマップ技術と接続することで、アバターで動き回るインタラクティブなバーチャル空間表現を利用できるようになる。通常のバーチャル空間が手間のかかる空間モデリングを行うのに対して、360度映像ベースのものは、映像を撮るだけでよく、空間モデリングを著しく簡素化できる。
|
