• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

同世界放送のための分散型リアルタイム映像収集合成技術

研究課題

研究課題/領域番号 22K12009
研究機関福井大学

研究代表者

川上 朋也  福井大学, 学術研究院工学系部門, 准教授 (30710470)

研究分担者 寺西 裕一  国立研究開発法人情報通信研究機構, ネットワーク研究所, 研究マネージャー (30403009)
義久 智樹  大阪大学, サイバーメディアセンター, 准教授 (00402743)
研究期間 (年度) 2022-04-01 – 2025-03-31
キーワードライブ放送 / 映像配信 / 分散処理 / 画像処理 / テレプレゼンス
研究実績の概要

複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ(ノード)の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2022年度はまず、想定する同世界放送のために必要な映像処理技術の調査と検証を行った。また、「合成処理を伴う分散リアルタイム映像収集」に関する研究を進め、中継ノード上での映像を合成しつつ収集する分散合成手法を提案した。提案手法ではまず、撮影端末からのリアルタイム映像をクラウド上のノードで分担する。各映像の担当ノードは自身の仮想リンクに基づいて、ほかの担当ノードへリアルタイム映像を転送し、同世界映像として配信を担当するノードまで最終的に転送する。このとき、中継ノード上で複数の映像を合成し、合成後の映像のみ次のノードへ転送することで、通信負荷の削減や合成処理の分散を行える。さらに、合成予定の位置や奥行き情報から図4のような各映像の重なり(オクルージョン)を判別し、映像の収集と合成の順序に反映する。提案手法はシミュレーションやテストベッドを用いて評価し、ノードが多い環境で既存手法よりも計算時間が短く、リアルタイム性などにおける有効性を確認した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究は2022年度から3年間を予定し、快適な同世界放送を広域かつ大規模に提供するため、「合成処理を伴う分散リアルタイム映像収集」「要求品質に基づく適応的品質調整」「推定負荷に基づく動的ノード仮想化」の3つの技術の確立を目指していた。2022年度には「合成処理を伴う分散リアルタイム映像収集」が完了し、ノードの仮想化とその適応的な管理方式についても研究を進めた。研究成果は学術論文誌や複数の国際会議でも発表し、学術論文誌に掲載された論文は同論文誌の年間に採録された論文の10%以下が選ばれる特選論文にもなった。以上により、本研究は計画時以上の成果を上げており、おおむね順調に進展している。

今後の研究の推進方策

本研究課題の同世界放送において、各リアルタイム映像に要求される品質は最終的な合成映像によって異なる。2023年度には「要求品質に基づく適応的品質調整」に関する技術に取り組み、最終的な合成映像の品質に基づいて、要求を満たす最低限の品質で映像を転送する適応的な品質調整手法を検討する。過剰な品質の映像のやり取りを減らすことで、ノードの処理負荷や通信負荷を軽減できる。また、一つのリアルタイム映像が複数の異なる同世界映像で収集対象となる場合も考えられ、その場合は当該映像の担当ノードが適応的な品質で転送する。さらに、「推定負荷に基づく動的ノード仮想化」に関する技術にも一部取り組み、リアルタイム映像の収集や要求品質の状況、各ノードの性能などに基づき、仮想的なノード(仮想ノード)の追加や削除を動的に行う手法を検討する。処理性能に比べて負荷の小さいノードが仮想ノードをオーバレイネットワーク上に動的に追加し、ほかのノードの処理を分担することで、各ノードの負荷をそれぞれの許容値以下に抑え、深刻な処理遅延の発生を軽減できる。

次年度使用額が生じた理由

[理由] 国際会議発表のために外国旅費も見込んでいたが、オンライン参加となったため、旅費が大幅に削減された。

[使用計画] 2022年度の進捗状況から、2023年度も当初計画以上の研究成果が期待できる。そのため、国内旅費や学会参加費、論文誌掲載料に用いる。

  • 研究成果

    (14件)

すべて 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (13件) (うち国際学会 4件)

  • [雑誌論文] 同世界放送: 映像の収集と合成をともなう分散型インターネットライブ放送2023

    • 著者名/発表者名
      牧田航輝, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 雑誌名

      情報処理学会論文誌

      巻: 64 (2) ページ: 499-510

    • DOI

      10.20729/00224262

    • 査読あり
  • [学会発表] A Tree Construction Method with a Genetic Algorithm for the Same World Broadcasting System2023

    • 著者名/発表者名
      Koki Makida, Tomoya Kawakami, Satoru Matsumoto, Tomoki Yoshihisa, and Yuuichi Teranishi
    • 学会等名
      The 2022 Workshop on Internet Architecture and Applications (IA 2022)
    • 国際学会
  • [学会発表] Implementation of an AR Virtual Space System with Dynamic Background Replacement Based on Estimated Depth2023

    • 著者名/発表者名
      Yoshihiro Tsuboki, Tomoya Kawakami, Satoru Matsumoto, Tomoki Yoshihisa, and Yuuichi Teranishi
    • 学会等名
      The 2022 Workshop on Internet Architecture and Applications (IA 2022)
  • [学会発表] エッジコンピューティング環境におけるリアルタイムAR積雪可視化システムのための空間情報処理の軽量化手法2023

    • 著者名/発表者名
      小林靖明, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      情報処理学会研究報告
  • [学会発表] 同世界放送システムにおける遺伝的アプローチによる映像収集木構築アルゴリズムの提案2023

    • 著者名/発表者名
      牧田航輝, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      情報処理学会研究報告
  • [学会発表] A Tree Construction Method for Distributed Video Collection and Composition on the Same World Broadcasting System2022

    • 著者名/発表者名
      Koki Makida, Tomoya Kawakami, Satoru Matsumoto, Tomoki Yoshihisa, Yuuichi Teranishi, and Shinji Shimojo
    • 学会等名
      The 46th IEEE Annual International Computer, Software and Applications Conference (COMPSAC 2022)
    • 国際学会
  • [学会発表] A Real-Time Background Replacement Method Based on Estimated Depth for AR Applications2022

    • 著者名/発表者名
      Yoshihiro Tsuboki, Tomoya Kawakami, Satoru Matsumoto, Tomoki Yoshihisa, and Yuuichi Teranishi
    • 学会等名
      The 46th Annual International Computer, Software and Applications Conference (COMPSAC 2022) Workshops
    • 国際学会
  • [学会発表] 背景置換処理のオフローディングによるARシステムの実装評価2022

    • 著者名/発表者名
      坪木良宏, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      マルチメディア,分散,協調とモバイル (DICOMO2022) シンポジウム
  • [学会発表] 同世界放送システムのための遺伝的アプローチによる映像収集木構築手法の検討2022

    • 著者名/発表者名
      牧田航輝, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      マルチメディア,分散,協調とモバイル (DICOMO2022) シンポジウム
  • [学会発表] 空間情報処理のオフローディングによるリアルタイムAR積雪可視化システムの検討2022

    • 著者名/発表者名
      小林靖明, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      マルチメディア,分散,協調とモバイル (DICOMO2022) シンポジウム
  • [学会発表] A Real-Time AR Visualization System of Snow-Covered Situations2022

    • 著者名/発表者名
      Yasuaki Kobayashi, Tomoya Kawakami, Satoru Matsumoto, Tomoki Yoshihisa, and Yuuichi Teranishi
    • 学会等名
      The 11th IEEE Global Conference on Consumer Electronics (GCCE 2022)
    • 国際学会
  • [学会発表] 空間情報処理のオフローディングによるリアルタイムAR積雪可視化システムの実装2022

    • 著者名/発表者名
      小林靖明, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      第30回情報処理学会マルチメディア通信と分散処理ワークショップ (DPSWS2022), デモ発表
  • [学会発表] 推定深度に基づく動的背景置換によるAR仮想空間システムの実装2022

    • 著者名/発表者名
      坪木良宏, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      第30回情報処理学会マルチメディア通信と分散処理ワークショップ (DPSWS2022), デモ発表
  • [学会発表] [ショートペーパー] 地理的オーバレイネットワークを用いた可視領域に基づくメタバースオブジェクト管理手法の検討2022

    • 著者名/発表者名
      青木総樹, 川上朋也, 松本 哲, 義久智樹, 寺西裕一
    • 学会等名
      電子情報通信学会技術研究報告

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi