• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

バーチャル探訪のための歩行移動360度映像群からのムービーマップ構築基盤技術

研究課題

研究課題/領域番号 23K21677
補助金の研究課題番号 21H03460 (2021-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2021-2023)
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関東京大学

研究代表者

相澤 清晴  東京大学, 大学院情報理工学系研究科, 教授 (20192453)

研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)
2024年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2022年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2021年度: 4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
キーワード360度映像 / マルチメディア / バーチャルリアリティ / 画像処理 / バーチャル空間 / コンピュータビジョン / ストリートビュー / ムービーマップ
研究開始時の研究の概要

バーチャル探訪を実現するために、本研究では、360度映像群を用いて、所与の地域内をバーチャルに回遊できるムービーマップを構築する。そのために、(1)街の360度映像を街路沿いに取得し、(2)360度映像群の交差での高精度なセグメンテーションと構造化を行う基盤技術を構築する。これにより、(3)ビューヤの位置と連動させて、映像セグメントをその交差でつなぎ合わせることにより、オープンワールドを実現する。さらに、(4) 360度映像の視制御技術、映像データベース更新技術の研究開発を行う。これらの技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築ができる基盤を構築する。

研究実績の概要

本研究では、実映像を用いて、地域内をあたかも歩いて移動するような景観をみることができるバーチャル探訪の実現を進める。そのために、所与の地域の街路ごとに撮像した360度映像を用いたオープンワールドとなるムービーマップを構築する。取得映像を処理し、すべてのフレームに位置を割り当て、映像を交差で切り替え、方向転換を行い、地域内の歩き回りを可能とする技術基盤の構築を目指している。
本研究では、360度映像を用い、ほぼ自動的に、映像群を高精度に分節、構造化し、バーチャル探訪のための技術基盤を構築する。また、交差での円滑な方向転換や注意喚起を促す視聴支援技術、そしてデータベース映像の更新技術、360度映像の物体検出・視線等の解析技術等からなるバーチャル探訪のための360度映像処理基盤を構築する。さらに、構築した技術の一層の飛躍を目指して、これらの技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築ができる技術基盤を目指す。さらに、360度映像表示を進展させ、3次元空間性を付与し、ユーザがアバターを扱って地域内を探訪することのできるバーチャル空間である360RVWの構築に着手した。23年度の研究実績を以下に列挙する。
■360度映像群から所与の地域のムービーマップの構築技術の継続的改善
■映像データベース更新技術の研究開発の開発
■ムービーマップ構築技術をプラットフォーム化し、第3者であっても360度映像をアップロードすることで、ムービーマップの構築を可能とする基盤の構築への着手
■ムービーマップの360度映像群をもちいて、3次元性を付与し、ユーザがアバターを扱い、所与の地域のバーチャル空間を探訪することのできる360RVWの構築

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

360度映像からムービーマップを構築するシステムの完成度をあげ、当初の計画に含まれていなかった下記項目の進捗を挙げたため。
■360度映像から構築するムービーマップシステム技術の継続的な改善による完成度の向上
■ムービーマップ構築技術のプラットフォーム化への着手と進展
■360度映像から構築するインタラクティブなバーチャル空間(360RVW)への着手と進展

今後の研究の推進方策

23年度に着手したプラットフォームの構築、360RVWの構築をより進展させる。
■プラットフォーム化により技術と利用を切り離すことができ、現在のコンテンツをよりスケールさせることができる。
■インタラクティブなバーチャル空間360RVWの構築を進め、ムービーマップ技術と接続することで、アバターで動き回るインタラクティブなバーチャル空間表現を利用できるようになる。通常のバーチャル空間が手間のかかる空間モデリングを行うのに対して、360度映像ベースのものは、映像を撮るだけでよく、空間モデリングを著しく簡素化できる。

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (38件)

すべて 2024 2023 2022 2021 その他

すべて 雑誌論文 (8件) (うち国際共著 1件、 査読あり 6件、 オープンアクセス 7件) 学会発表 (25件) (うち国際学会 3件、 招待講演 7件) 備考 (3件) 産業財産権 (2件) (うち外国 1件)

  • [雑誌論文] Entity-NeRF: Detecting and Removing Moving Entities in Urban Scenes2024

    • 著者名/発表者名
      Takashi Otonari, Satoshi Ikehata, Kiyoharu Aizawa
    • 雑誌名

      CVPR2024

      巻: CVPR2024 ページ: 1-10

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 360RVW: Fusing Real 360 Degree Videos and Interactive Virtual Worlds2023

    • 著者名/発表者名
      M. Takenawa, N. Sugimoto, L. Woehler, S. Ikehata, K. Aizawa
    • 雑誌名

      ACM Multimedia

      巻: 31 ページ: 9379-9381

    • DOI

      10.1145/3581783.3612670

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Field-of-View IoU for Object Detection in 360°images2023

    • 著者名/発表者名
      Miao Cao, Satoshi Ikehata, Kiyoharu Aizawa
    • 雑誌名

      IEEE Trans. Image Processing

      巻: 32 ページ: 1-11

    • DOI

      10.1109/tip.2023.3296013

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Movie Map for Virtual Exploration in a City2022

    • 著者名/発表者名
      AIZAWA Kiyoharu
    • 雑誌名

      IEICE Transactions on Information and Systems

      巻: E105.D 号: 1 ページ: 38-45

    • DOI

      10.1587/transinf.2021MUI0001

    • NAID

      130008138836

    • ISSN
      0916-8532, 1745-1361
    • 年月日
      2022-01-01
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Saliency-Based Multiple Region of Interest Detection From a Single 360° Image2022

    • 著者名/発表者名
      Yuki Sawabe, Satoshi Ikehata, Kiyoharu Aizawa
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 89124-89133

    • DOI

      10.1109/access.2022.3200486

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Non-uniform Sampling Strategies for NeRF on 360° images2022

    • 著者名/発表者名
      Takashi Otonari, Satoshi Ikehata, Kiyoharu Aizawa
    • 雑誌名

      British Machine Vision Conference

      巻: 1 ページ: 1-12

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Distortion-Aware Self-Supervised 360° Depth Estimation from A Single Equirectangular Projection Image2022

    • 著者名/発表者名
      Yuya Hasegawa, Ikehata Satoshi, Kiyoharu Aizawa
    • 雑誌名

      arXiv

      巻: 1 ページ: 1-11

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Intersection Prediction from Single 360°Image via Deep Detection of Possible Direction of Travel2021

    • 著者名/発表者名
      Naoki Sugimoto, Satoshi Ikehata, Kiyoharu Aizawa
    • 雑誌名

      British Machine Vision Conference

      巻: 1 ページ: 1-12

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 実世界360度動画群の仮想空間化システムの検討と評価2024

    • 著者名/発表者名
      武縄瑞基、杉本直樹、Leslie Woelher、池畑諭、相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 社会基盤のためのメタバース:実世界とインタラクティブなVRの融合2024

    • 著者名/発表者名
      相澤清晴
    • 学会等名
      第4回 日経メタバースシンポジウムメタバース
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Investigating the Perception of Facial Anonymization Techniques in 360° Videos2024

    • 著者名/発表者名
      Leslie Woehler, Satoshi Ikehata, Kiyoharu Aizawa
    • 学会等名
      電子情報通信学会 ヒューマン情報処理研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 都市シーンにおける動く物体を除去した静的なNeRF表現の学習2024

    • 著者名/発表者名
      大隣嵩,池畑諭,相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 音声が360度映像の視聴体験に及ぼす影響について2024

    • 著者名/発表者名
      松本早起,ヴェーラー レスリー,池畑 諭,相澤清晴
    • 学会等名
      映像情報メディア学会 メディア工学研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 360度歩行映像の3D都市モデルへの動的なテクスチャ投影によるバーチャル空間の実現とその応用2024

    • 著者名/発表者名
      坂野達郎,武縄瑞基,Leslie Woehler,池畑諭,相澤清晴
    • 学会等名
      情報処理学会大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 実世界360度動画とインタラクティブな仮想世界の融合2023

    • 著者名/発表者名
      武縄 瑞基,杉本 直樹,Leslie Wohler,池畑 諭,相澤 清晴
    • 学会等名
      日本バーチャルリアリティ学会大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 360度映像から作るメタバースとその技術基盤2023

    • 著者名/発表者名
      相澤清晴
    • 学会等名
      日本学術振興会 超集積エレクトロニクス産学連携委員会
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Building Real World Metaverse using 360 Videos2023

    • 著者名/発表者名
      Kiyoharu Aizawa
    • 学会等名
      International Display Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 360度動画がユーザーに与える心理的影響の測定2023

    • 著者名/発表者名
      松本 早起, Woehler Leslie,池畑 諭,相澤 清晴
    • 学会等名
      日本バーチャルリアリティ学会大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Neural Radnaice Fieldsによる人や車を除いた自由視点映像合成2023

    • 著者名/発表者名
      大隣 嵩,池畑 諭,相澤 清晴
    • 学会等名
      日本バーチャルリアリティ学会大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] セグメンテーションマスクを利用した動画からの静的なNeRF表現の学習2023

    • 著者名/発表者名
      大隣嵩, 池畑諭, 相澤清晴
    • 学会等名
      電子情報通信学会, パターン認識・メディア理解研究会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Movie Map and Beyond -360度映像によるバーチャルな街の探訪-2022

    • 著者名/発表者名
      相澤清晴
    • 学会等名
      画像センシングシンポジウム(SSII2022)
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 360度映像に基づく 実世界指向メタバース2022

    • 著者名/発表者名
      相澤清晴
    • 学会等名
      画像符号化, 映像メディア処理シンポジウム
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 360度画像のNeRFのための光線サンプリング戦略2022

    • 著者名/発表者名
      大隣嵩, 池畑諭, 相澤清晴
    • 学会等名
      画像の認識, 理解シンポジウム(MIRU2022 )
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 歩行者視点の 360 度映像群からなるムービーマップへのライブ映像の融合2022

    • 著者名/発表者名
      松本早起、池畑諭、相澤清晴
    • 学会等名
      画像電子学会年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] NeRF を用いた 360 度画像の任意視点画像合成2022

    • 著者名/発表者名
      大隣嵩、池畑諭、 相澤清晴
    • 学会等名
      画像電子学会年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] RoIに追従する360度動画表示の検討とユーザスタディ2022

    • 著者名/発表者名
      澤邉裕紀, 池畑諭, 相澤清晴,
    • 学会等名
      電子情報通信学会 画像工学研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 景観画像に対するクロスモーダルな環境音検索2022

    • 著者名/発表者名
      今宿祐希, 池畑諭, 相澤清晴
    • 学会等名
      電子情報通信学会 総合大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 360度動画がユーザの視聴体験に与える影響の測定2022

    • 著者名/発表者名
      松本早起, 武縄瑞基, 池畑諭,相澤清晴
    • 学会等名
      電子情報通信学会 メディアエクスペリエンス, バーチャル環境基礎研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 360度画像における物体検出2022

    • 著者名/発表者名
      曹苗、池畑諭、相澤清晴
    • 学会等名
      電子情報通信学会 画像工学研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 歩行者視点の全方位映像からなるムービーマップへのライブ映像の融合2022

    • 著者名/発表者名
      松本早起、池畑諭、相澤清晴
    • 学会等名
      情報処理学会 全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 360 度画像に対するNeRF による新規視点画像合成2022

    • 著者名/発表者名
      大隣嵩、池畑諭、 相澤清晴
    • 学会等名
      情報処理学会 全国大会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Virtual Exploration in a City -- Renovation of Movie Map2021

    • 著者名/発表者名
      Kiyoharu Aizawa
    • 学会等名
      IEEE Int. Conf. Multimedia Big Data
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Movie Map and Beyond - Exploring in a City2021

    • 著者名/発表者名
      Kiyoharu Aizawa
    • 学会等名
      IEEE Int. Symposium on Multimedia
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [備考] Movie Map 360

    • URL

      https://moviemap.jp

    • 関連する報告書
      2023 実績報告書
  • [備考] MovieMap

    • URL

      https://moviemap.jp

    • 関連する報告書
      2022 実績報告書
  • [備考] MovieMap

    • URL

      http://www.moviemap.jp

    • 関連する報告書
      2021 実績報告書
  • [産業財産権] 情報処理装置及びプログラム2023

    • 発明者名
      相澤清晴、林裕人, 武縄瑞基
    • 権利者名
      相澤清晴、林裕人, 武縄瑞基
    • 産業財産権種類
      特許
    • 出願年月日
      2023
    • 関連する報告書
      2023 実績報告書
    • 外国
  • [産業財産権] 画像処理装置、画像再生装置、及びプログラム2021

    • 発明者名
      相澤清晴、澤邉裕紀
    • 権利者名
      相澤清晴、澤邉裕紀
    • 産業財産権種類
      特許
    • 産業財産権番号
      2021-118256
    • 出願年月日
      2021
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi