Building MovieMap from 360 degree Videos for Virtual Exploration
| Project/Area Number |
23K21677
|
|---|
| Project/Area Number (Other) |
21H03460 (2021-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2021-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
相澤 清晴 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2021: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
|
|---|
| Keywords | 360度映像 / マルチメディア / バーチャルリアリティ / 画像処理 / コンピュータビジョン / ストリートビュー / ムービーマップ |
|---|
| Outline of Research at the Start |
バーチャル探訪を実現するために、本研究では、360度映像群を用いて、所与の地域内をバーチャルに回遊できるムービーマップを構築する。そのために、(1)街の360度映像を街路沿いに取得し、(2)360度映像群の交差での高精度なセグメンテーションと構造化を行う基盤技術を構築する。これにより、(3)ビューヤの位置と連動させて、映像セグメントをその交差でつなぎ合わせることにより、オープンワールドを実現する。さらに、(4) 360度映像の視制御技術、映像データベース更新技術の研究開発を行う。これらの技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築ができる基盤を構築する。
|
| Outline of Annual Research Achievements |
本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を目指している。そのためには、対象地域内に存在する全ての移動経路沿いに移動しながら映像を取得するのが望ましい。しかしながら、地域内の街路は、お互いに交差し、とりうる経路は組み合わせで増大し、すべての経路を事前に撮像することは到底できない。そのために、街路ごとに一つの映像として取得することとする。そして、街路の交差では、今の映像から交差する次の映像に切り替えることで、方向転換を行い、地域内の歩き回りの実現が可能となる。
本研究の目標は、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築することにある。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。研究課題を以下に列挙する。
■360度映像群の高精度な分節・構造化：自己位置推定と地図上へのマッピング、自己位置推定によらない映像の交差判定
■360度映像視制御技術：円滑な映像セグメントの接続、RoI (Region of Interest)の検出とその提示による360度映像表示の拡張
■360度移動視点群データセットの構築・データベース更新：実験対象を広げ、ムービーマップの適用領域を広げる。
■ユーザスタディによる評価
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
■360度移動視点群データセットの構築・データベース更新： あらたに、下北沢についての映像を取得し、その映像を用いたムービーマップを構築した。構築したムービーマップは、https://moviemap.jp にて公開している。
■360度映像群の高精度な分節・構造化：自動処理によるムービーマップ構築で生じる誤りを容易に修正するツール、新たに映像を追加・更新するツールまで一通り完了した。今後、自動構築に合わせて必要に応じた修正ツールを第3者が利用可能とし、ムービーマップの構築を開かれたシステムとする拡張を始めた。当初の計画にはなかった新展開である。
■360度映像処理基盤：360度映像処理の基盤技術として、(1)360度映像から顕著性マップを精度よく推定し、それに基づくRoI（Region of Interest）の推定手法、(2)360度画像からの物体検出のための新しいメトリックを提案し、ひずみの多い高緯度領域での物体検出の高精度化を示した。(3)360度画像に対する奥行き予測を自己教師あり学習で実現する手法を示した。(4)360度映像のNeRFを用いた新規視点画像生成にあたり、サンプリングを工夫することで、学習の高速化、高精度化を実現した。
■360度映像の評価：360度動画、静止画、通常の透視投影映像の評価を行った。今後も評価については、継続して進める。
■招待論文・講演：1件の論文を著し、国内シンポジウムにて2件の招待講演を行った。
|
| Strategy for Future Research Activity |
ムービーマップとしての深化のために以下の項目についての研究を進める。
■ムービーマップとしての対象地域を増やし、360度映像取得を進める
■360度映像の視聴経験の評価を行う
■オープンなシステムの構築：360度映像群からのムービーマップの構築を第3者が可能とするようにシステム拡張を行う。
|
Report
(2 results)
Research Products
(21 results)
