• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

無線超臨場感システム実現を目指す多次元ストリーミングに関する研究

研究課題

研究課題/領域番号 20K19783
研究機関大阪大学

研究代表者

藤橋 卓也  大阪大学, 情報科学研究科, 助教 (10785520)

研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード点群情報 / グラフ信号処理 / ハイブリット伝送 / 畳み込みニューラルネットワーク
研究実績の概要

(1)多次元映像の高効率圧縮技術:本年度はボリューメトリックコンテンツの一種である点群を効率的に圧縮するために,グラフ信号処理を利用した点群圧縮手法を提案した.より具体的には,点群をグラフ信号とみなすとともに,点間の距離を信号間の相関として生成したグラフラプラシアン行列から得られるグラフフーリエ変換行列を用いて各点間に含まれる冗長な情報を削減する.さらに,グラフラプラシアン行列から得られるグラフフーリエ変換行列に対して行列圧縮に用いられるギブンズ回転および量子化を導入することでグラフフーリエ逆変換に要する通信オーバヘッドを削減する手法を設計した.これらの手法は実際の点群データを用いた性能評価から,従来手法と比較して低オーバヘッドで点群データを高品質に復元できることがわかっている.
(2)無線ネットワーク性能の変動に対処した多次元映像伝送技術:本年度はデジタル符号化を用いて圧縮した点群情報とグラフ信号処理を用いて圧縮した点群を組み合わせて伝送するハイブリッド点群伝送手法を設計した.評価においては,実際の点群情報と無線ネットワークにおけるネットワーク性能変動を再現したシミュレーションを通して,提案手法がネットワーク性能変動に対して耐性を持つことを受信映像品質(Chamfer Distance)の観点から明らかにした.
(3)誤り・損失による品質低下を抑制する復元技術:本年度はネットワーク伝送中の誤り・損失によって生じる品質劣化を抑制するために,畳み込みニューラルネットワークDeep Image Priorを利用した画像復元手法を提案した.本手法はネットワーク伝送によって劣化した受信画像を入力,復元後の画像を出力,損失関数を画像間の平均二乗誤差あるいは構造的類似性とした畳み込みニューラルネットワークを用いることで加法性ノイズやフェージングに起因する品質劣化の抑制が可能となった.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

(1)多次元映像の高効率圧縮技術:当初の予定どおり,本年度はグラフ信号処理を用いた点群圧縮および通信オーバヘッドの削減を同時達成する手法を設計することができた.従来手法に対して提案手法は約89.8%のオーバヘッド削減を達成できることを明らかにした.本研究成果は国際会議IEEE International Conference on Communicationsにおいて発表済みである.また,発展手法については,国際会議・学術論文誌への投稿に向けて準備を進めている.
(2)無線ネットワーク性能の変動に対処した多次元映像伝送技術:当初の予定どおり,本年度はグラフ信号処理を用いた伝送手法を設計した.デジタル符号化を用いた従来の点群伝送手法はネットワーク性能が変動するとともに復元品質が著しく低下する一方で,提案手法ではネットワーク性能に応じて復元品質が改善することを確認した.本研究成果は現在,学術論文誌に投稿中である.
(3)誤り・損失による品質低下を抑制する復元技術:当初の予定どおり,本年度は畳み込みニューラルネットワークを用いた復元手法を提案した.復元手法を利用することによって,構造的類似性を0.4,Peak Signal-to-Noise Ratioを12dB程度改善できることを明らかにした.本研究成果は国際会議IEEE International Conference on Communicationsにおいて発表済みである.

今後の研究の推進方策

(1)多次元映像の高効率圧縮技術:グラフ信号処理を用いた点群圧縮におけるさらなるオーバヘッド削減を達成するために,来年度は非線形量子化を組み合わせた点群圧縮手法を提案する.本年度に開発した点群圧縮手法ではギブンズ回転から得られたパラメータを一様分布にしたがう量子化間隔を用いて圧縮している.一方で,グラフフーリエ変換行列に対してギブンズ回転行列を用いたとき,得られたパラメータは一様分布に従わないことがわかっている.このとき,量子化による圧縮率は低下する.次年度は一様分布と異なる分布にしたがった量子化間隔を用いることでグラフフーリエ変換行列に要するオーバヘッドをさらに低減することを目指す.
(2)無線ネットワーク性能の変動に対処した多次元映像伝送技術:ハイブリッド点群伝送を用いることでネットワーク性能の変動に対して耐性を持つことはできたものの,現在の方式は未だに以下の課題を抱えている.1)可用帯域の変動に対する耐性:現在の手法においては点群伝送に要する帯域は一定であることを仮定している.一方で,実環境においては周辺の電波伝搬環境に応じて点群伝送に対して利用可能な帯域は時々刻々と変化する.時々刻々と変化する可用帯域に応じて点群情報を伝送するために,Stochastic Bottleneckを用いた点群伝送手法の基礎を提案する,2)ハイブリッド伝送の高度化:グラフ信号処理におけるグラフラプラシアン行列はグラフ信号間の分散・標準偏差をハイパーパラメータとしており,その最適性が不明瞭である.来年度はグラフ信号を対象としたグラフニューラルネットワークを用いることで,点群伝送のさらなる高品質化・高度化を目指す.

次年度使用額が生じた理由

ハイブリッド点群伝送手法を設計するにあたって直面したデジタル符号化技術とグラフ信号処理技術との適切な組み合わせ等の課題解決に時間を要してしまい,得られた研究成果を年度内に外部へ発表することができなかった.
次年度に回った金額については,当初の計画通り,本年度の取り組みおよび来年度の取り組みによって得られた研究成果を外部に発表するために使用する予定である.

  • 研究成果

    (15件)

すべて 2021 2020 その他

すべて 国際共同研究 (1件) 雑誌論文 (4件) (うち国際共著 1件、 査読あり 4件、 オープンアクセス 2件) 学会発表 (9件) (うち国際学会 3件、 招待講演 1件) 産業財産権 (1件)

  • [国際共同研究] MERL(米国)

    • 国名
      米国
    • 外国機関名
      MERL
  • [雑誌論文] 360Cast+: Viewport Adaptive Soft Delivery for 360-Degree Videos2021

    • 著者名/発表者名
      Yujun Lu、Fujihashi Takuya、Saruwatari Shunsuke、Watanabe Takashi
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 52684~52697

    • DOI

      10.1109/ACCESS.2021.3067018

    • 査読あり / オープンアクセス
  • [雑誌論文] High-Throughput Visual MIMO Systems for Screen-Camera Communications2021

    • 著者名/発表者名
      Fujihashi Takuya、Koike-Akino Toshiaki、Orlik Philip V.、Watanabe Takashi
    • 雑誌名

      IEEE Transactions on Mobile Computing

      巻: 20 ページ: 2200~2211

    • DOI

      10.1109/TMC.2020.2977042

    • 査読あり / 国際共著
  • [雑誌論文] CSI2Image: Image Reconstruction From Channel State Information Using Generative Adversarial Networks2021

    • 著者名/発表者名
      Kato Sorachi、Fukushima Takeru、Murakami Tomoki、Abeysekera Hirantha、Iwasaki Yusuke、Fujihashi Takuya、Watanabe Takashi、Saruwatari Shunsuke
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 47154~47168

    • DOI

      10.1109/ACCESS.2021.3066158

    • 査読あり / オープンアクセス
  • [雑誌論文] Soft Video Uploading for Low-Power Crowdsourced Multi-view Video Streaming2020

    • 著者名/発表者名
      NU Than Than、FUJIHASHI Takuya、WATANABE Takashi
    • 雑誌名

      IEICE Transactions on Communications

      巻: E103.B ページ: 524~536

    • DOI

      10.1587/transcom.2019EBP3134

    • 査読あり
  • [学会発表] パフォーマンス低下を抑制するオンラインゲーム向け遅延補償技術に関する実験的評価2021

    • 著者名/発表者名
      赤間 俊介, 本生 崇人, 石岡 卓将, 藤橋 卓也, 猿渡 俊介, 渡辺 尚
    • 学会等名
      情報処理学会全国大会
  • [学会発表] ネットワークとロボットとの協調制御に関する初期的検討2021

    • 著者名/発表者名
      新宮 裕章, 本生 崇人, 藤橋 卓也, 工藤 理一, 高橋 馨子, 村上 友規, 渡辺 尚, 猿渡 俊介
    • 学会等名
      第83回情報処理学会全国大会
  • [学会発表] 視線情報を用いた高品質無線 360 度映像伝送に関する基礎的検討2021

    • 著者名/発表者名
      岡本 翼, Lu Yujun, 藤橋 卓也, 猿渡 俊介, 渡辺 尚
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 360Cast: Foveation-Based Wireless Soft Delivery for 360-Degree Video2020

    • 著者名/発表者名
      Yujun Lu, Takuya Fujihashi, Shunsuke Saruwatari, Takashi Watanabe
    • 学会等名
      IEEE International Conference on Communications (IEEE ICC'20)
    • 国際学会
  • [学会発表] Overhead Reduction in Graph-Based Point Cloud Delivery2020

    • 著者名/発表者名
      Takuya Fujihashi, Toshiaki Koike-Akino, Philip V. Orlik, Takashi Watanabe
    • 学会等名
      IEEE International Conference on Communications (IEEE ICC'20)
    • 国際学会
  • [学会発表] High-Quality Soft Image Delivery with Deep Image Denoising2020

    • 著者名/発表者名
      Takuya Fujihashi, Toshiaki Koike-Akino, Takashi Watanabe, Philip V. Orlik
    • 学会等名
      IEEE International Conference on Communications (IEEE ICC'20)
    • 国際学会
  • [学会発表] Visual SLAMを用いた内視鏡位置推定に関する基礎検討2020

    • 著者名/発表者名
      上野 創史, 藤橋 卓也, 菊川 忠彦, 猿渡 俊介, 安藤 英由樹, 雑賀 隆史, 渡辺 尚
    • 学会等名
      日本医用画像工学会大会
  • [学会発表] プレイヤパフォーマンス低下を抑制するオンラインゲーム向け遅延補償に関する一研究2020

    • 著者名/発表者名
      本生 崇人, 川崎 慈英, 藤橋 卓也, 猿渡 俊介, 渡辺 尚
    • 学会等名
      マルチメディア、分散、協調とモバイル(DICOMO2020)シンポジウム
  • [学会発表] [特別招待講演]5G~6G時代における映像・VRアプリケーションと課題2020

    • 著者名/発表者名
      猿渡 俊介, 藤橋 卓也, 渡辺 尚
    • 学会等名
      電子情報通信学会通信方式研究会
    • 招待講演
  • [産業財産権] センサ装置、センシング方法、データ処理装置、データ処理方法及びデータ処理プログラム2020

    • 発明者名
      椎名亮太, 福井達也, 藤橋卓也, 他6名
    • 権利者名
      椎名亮太, 福井達也, 藤橋卓也, 他6名
    • 産業財産権種類
      特許
    • 産業財産権番号
      2020-218964

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi