• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

エッジとクラウドの連携によるリアルタイム映像処理基盤の実現

Research Project

Project/Area Number 19H04102
Research InstitutionKanagawa Institute of Technology

Principal Investigator

丸山 充  神奈川工科大学, 情報学部, 教授 (60636489)

Co-Investigator(Kenkyū-buntansha) 君山 博之  大同大学, 情報学部, 教授 (10757644)
瀬林 克啓  神奈川工科大学, 情報学部, 特任教授 (90762394)
小島 一成  神奈川工科大学, 情報学部, 准教授 (50360251)
漆谷 重雄  国立情報学研究所, アーキテクチャ科学研究系, 教授 (70442522)
栗本 崇  国立情報学研究所, アーキテクチャ科学研究系, 准教授 (80768185)
河合 栄治  国立研究開発法人情報通信研究機構, 総合テストベッド研究開発推進センターテストベッド研究開発運用室, 上席研究員 (40362842)
大槻 英樹  国立研究開発法人情報通信研究機構, ネットワークシステム研究所企画室, プランニングマネージャー (80358861)
Project Period (FY) 2019-04-01 – 2022-03-31
Keywords8K高精細映像処理 / クラウドコンピューティング / エッジコンピューティング / 広帯域ネットワーク
Outline of Annual Research Achievements

本研究では,端末とクラウドの間に,映像フレーム単位の同期制御が可能なエッジ部を設け,この粒度で端末側と同期を取った上で,クラウドの仮想マシン(VM)の統括制御,複数ストリームの同期や待ち合わせ処理を行うアーキテクチャモデルを提案する.2019年度は次の取り組みを主に進めた.
(1)エッジ部が統括するクラウド分散処理モデルの確立:具体的なエッジ処理モデルとして,遠隔のカメラやクラウドの映像サーバ群から送出される複数本の8K非圧縮映像をスイッチングするシステムを想定し,検討を進めた.将来の仮想化への展開を見据えて,ソフトウェアでの処理能力を定量評価した.数10Gbpsのストリームパケットの処理が必要なために,ネットワーク分野の高速ネットワーク処理技術 DPDK(Data Plane Development Kit)に着目し,この枠組みに映像フレーム処理を付加して映像スイッチングの処理を実装したところ,24Gbpsの8K非圧縮映像を4入力し,その中から選択して1出力を行うスイッチング処理を1フレーム以内に実現可能な基本性能が確認できた.本システムについて,学会発表3件および,展示会3件の発表を進めたところ,内外からDPDKの新応用分野として着目を浴びた.
(2)インラインパケットトレース方式の確立:モニタ機構として,24Gbpsや48Gbpsの8K非圧縮映像等の広帯域ストリームの振舞をリアルタイム観測するシステムを作成した.本システムは,8K非圧縮映像を3Gbps×8本等の並列伝送する際のパケットのジッタ,映像フレーム欠落,順序入れ替え,ストリーム間の遅延差を同時観測できる特徴を持つ.本システムを用いて,映像スイッチング処理の定量評価に用いた他,クラウドのVMだけで構成した8K映像サーバの各VMのプロトコル送出性能の低下をリアルタイムで監視できる性能も確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

映像スイッチング処理を題材にエッジ部とクラウド部の処理の機能分散手法,エッジ部の構成法の検討を進め,ソフトウェアのみでover 100Gpsの処理性能を得られる基本性能を確認できた事は成果と考える.
また,クラウド部の処理については大きく2件の検討を進めた.
1つが従来から着手していたクラウド内での4K非圧縮映像を題材にした映像合成処理について,モデルを一般化する事で,高精度な性能シミュレーションを行う手法を確立して,学会発表2件に繋げた.これを利用して,8K映像の高度な処理に向けて,「映像データのフレームの分割とエリア分割によるロードバランス機構」の提案に繋げていきたい.
もう1つがクラウドの高速化技術として,Linuxで広く使われているハイパーバイザーであるKVM (Kernel-based Virtual Machine)で構成された複数VMだけを用いた8K非圧縮映像サーバを実現し,学会発表に繋げた.本検討の中で,KVMで構成したVMでover Gbpsの処理性能を安定的に引き出すためには, SR-IOV (Single Root I/O Virtualization)やCPU pinningのように一般的に知られた高速化の手法の適用効果だけでは不十分で,仮想OS種類やコア数やメモリ容量の割り当てにかなり実装ノウハウが必要である事を明らかにした.

Strategy for Future Research Activity

2020年度は次の課題に取り組む.
(1)100Gbps のストリームデータ処理能力を有するエッジ部が統括するクラウド分散処理モデルの確立:エッジ部に必要とされるリアルタイム同期機構の検討を中心に進める.同期機構に関する方式提案を進め,前年度に作成したプロトタイプに適用させる事で,方式の評価を行う.さらに選択した方式をベースにエッジ部とクラウド部に割り当てる機能分散方式を再検討し,シミュレーションに加えてプロトタイピングによりシステム全体のパイプライン処理性能を定量的に把握する.また端末側の映像クロック情報をネットワーククロック配信プロトコルのIEEE 1588 Precision Time Protocol (PTP)を用いてエッジ部に伝達し同期動作させる方法を検討し,プログラマブルNICを用いたハードウェアによる同期処理方式の検討を進める.
(2)NWと計算機の高精度な性能低下を検出するインラインパケットトレース方式の確立:前年度は,ストリームデータを高精度に解析して,VMの配信処理状況をリアルタイム可視化できるシステムを実装した.本年度は,これをベースにVMの様々な処理時間を観測できるリソース監視システムに拡張させると共に,プログラマブルNICを用いて,ストリーム伝送・処理に特化したモニタリング処理を実装する.
(3)端末部とエッジ部で遅延調整を行うインタフェース(API):映像アプリケーションとエッジ部との間の処理手順の検証を行うために,前年度の映像スイッチング処理を題材に,再同期処理や遅延調整が必要な場合の動作を「映像処理アプリケーションとエッジ部のAPIソフトウェア」のプロトタイプを使って評価を行う.

Remarks

展示会:Interop Tokyo 2019, SC19(米国),NICT雪まつり2020実験の場で、エッジ部の映像スイッチング技術について発表を行った.

  • Research Products

    (6 results)

All 2019

All Journal Article (5 results) (of which Peer Reviewed: 2 results) Presentation (1 results)

  • [Journal Article] 複数クラウドを使った大容量リアルタイム並列分散処理フレームワークの提案と評価2019

    • Author(s)
      君山博之, 丸山 充, 小島一成, 藤井竜也
    • Journal Title

      情報処理学会, 第27回マルチメディア通信と分散処理ワークショップ論文集, DPSWS2019

      Volume: 27 Pages: 187-194

    • Peer Reviewed
  • [Journal Article] 複数クラウドを用いた大容量リアルタイム並列分散処理システムとその性能評価2019

    • Author(s)
      君山博之, 丸山 充, 小島 一成, 藤井 竜也
    • Journal Title

      情報処理学会, DICOMO2019シンポジウム

      Volume: 2019 Pages: 1181-1189

    • Peer Reviewed
  • [Journal Article] KVM上の仮想マシンを用いた8K映像ストリームサーバの実現2019

    • Author(s)
      池田哲也, 瀬林克啓, 青木弘太, 丸山 充, 君山博之, 高橋 宏和, 栗本祟, 漆谷重雄, 河野 隆
    • Journal Title

      信学技報, vol. 119, no. 460, NS2019-224

      Volume: 119 Pages: 259-264

  • [Journal Article] ネットワークエッジ部における8K超高精細映像処理の実現2019

    • Author(s)
      青木弘太, 丸山 充, 瀬林克啓, 君山博之, 高橋 宏和, 大槻英樹, 漆谷重雄
    • Journal Title

      信学技報, vol. 119, no. 460, NS2019-223

      Volume: 119 Pages: 253-258

  • [Journal Article] ソフトウェアパケットスイッチを用いた8K超高精細映像の切り替え処理の実現2019

    • Author(s)
      青木弘太, 丸山 充, 瀬林克啓, 君山博之, 河野 隆, 高橋 宏和
    • Journal Title

      信学技報, vol. 119, no. 5, NS2019-7

      Volume: 119 Pages: 37-42

  • [Presentation] 100Gbps広域テストベッドを用いた非圧縮8K超高精細映像リアルタイム処理実験の取り組み2019

    • Author(s)
      瀬林 克啓, 丸山 充, 岩田 一, 青木 弘太, 君山 博之, 小林 和真, 河合 栄治, 漆谷 重雄
    • Organizer
      先端ネットワーク利用に関するワークショップ「ADVNET2019」, 東京大学 武田ホール, 2019.10.4.

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi