2021 Fiscal Year Annual Research Report
Building Movie Maps from 360 Degree Walking Videos for Virtual Exploration
| Project/Area Number |
21H03460
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
相澤 清晴 東京大学, 大学院情報理工学系研究科, 教授 (20192453)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | 360度映像 / 画像処理 / コンピュータビジョン / マルチメディア / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を目指している。そのためには、対象地域内に存在する全ての移動経路沿いに移動しながら映像を取得するのが望ましい。しかしながら、地域内の街路は、お互いに交差し、とりうる経路は組み合わせで増大し、すべての経路を事前に撮像することは到底できない。そのために、街路ごとに一つの映像として取得することとする。そして、街路の交差では、今の映像から交差する次の映像に切り替えることで、方向転換を行い、地域内の歩き回りの実現が可能となる。
本研究の目標は、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築することにある。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。研究課題を以下に列挙する。
■360度映像群の高精度な分節・構造化：自己位置推定と地図上へのマッピング、自己位置推定によらない映像の交差判定
■360度映像視制御技術：円滑な映像セグメントの接続、RoI (Region of Interest)の検出とその提示による360度映像視聴の支援
■360度移動視点群データセットの構築・データベース更新：実験対象を広げ、ムービーマップの適用領域を広げる。
■ユーザスタディによる評価
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
下記の項目が実施された。
■360度移動視点群データセットの構築・データベース更新： あらたに、広島平和記念公園周辺、秋葉原についての映像を取得し、その映像を用いたムービーマップを構築した。構築したムービーマップは、https://moviemap.jp にて公開している。
■360度映像群の高精度な分節・構造化：自動処理によるムービーマップ構築で生じる誤りを容易に修正するツールを構築した。
また、映像の交差判定に関して、学習により、視覚的な特徴から交差判定を行う手法を開発した。新規のエリアでも80％の精度で判定可能であることを示した。
■外部プロジェクトとの協力によるユーザスタディ：姫路市街についてムービーマップを作成し、海外からの観光目的のためのユーザスタディを行い、360度映像の利用が効果的であることを確認した。
■招待講演：国際会議・シンポジウムにて2件の招待講演を行い、国内にて1件の招待講演を行った。
|
| Strategy for Future Research Activity |
ムービーマップとしての深化のために以下の項目についての研究を進める。
■ムービーマップとしての対象地域を増やし、360度映像取得を進める
■360度映像処理として、物体検出、奥行き予測、RoI（Region of Interest）予測などの処理技術を進める
■360度映像の視聴経験の評価を行う
さらに、その先において、360度映像群からのムービーマップの構築を第3者が可能とするようにシステムを改変することを目指す。
|
