2020 Fiscal Year Research-status Report
無線超臨場感システム実現を目指す多次元ストリーミングに関する研究
| Project/Area Number |
20K19783
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
藤橋 卓也 大阪大学, 情報科学研究科, 助教 (10785520)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 点群情報 / グラフ信号処理 / ハイブリット伝送 / 畳み込みニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
（1）多次元映像の高効率圧縮技術：本年度はボリューメトリックコンテンツの一種である点群を効率的に圧縮するために，グラフ信号処理を利用した点群圧縮手法を提案した．より具体的には，点群をグラフ信号とみなすとともに，点間の距離を信号間の相関として生成したグラフラプラシアン行列から得られるグラフフーリエ変換行列を用いて各点間に含まれる冗長な情報を削減する．さらに，グラフラプラシアン行列から得られるグラフフーリエ変換行列に対して行列圧縮に用いられるギブンズ回転および量子化を導入することでグラフフーリエ逆変換に要する通信オーバヘッドを削減する手法を設計した．これらの手法は実際の点群データを用いた性能評価から，従来手法と比較して低オーバヘッドで点群データを高品質に復元できることがわかっている．
（2）無線ネットワーク性能の変動に対処した多次元映像伝送技術：本年度はデジタル符号化を用いて圧縮した点群情報とグラフ信号処理を用いて圧縮した点群を組み合わせて伝送するハイブリッド点群伝送手法を設計した．評価においては，実際の点群情報と無線ネットワークにおけるネットワーク性能変動を再現したシミュレーションを通して，提案手法がネットワーク性能変動に対して耐性を持つことを受信映像品質（Chamfer Distance）の観点から明らかにした．
（3）誤り・損失による品質低下を抑制する復元技術：本年度はネットワーク伝送中の誤り・損失によって生じる品質劣化を抑制するために，畳み込みニューラルネットワークDeep Image Priorを利用した画像復元手法を提案した．本手法はネットワーク伝送によって劣化した受信画像を入力，復元後の画像を出力，損失関数を画像間の平均二乗誤差あるいは構造的類似性とした畳み込みニューラルネットワークを用いることで加法性ノイズやフェージングに起因する品質劣化の抑制が可能となった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
（1）多次元映像の高効率圧縮技術：当初の予定どおり，本年度はグラフ信号処理を用いた点群圧縮および通信オーバヘッドの削減を同時達成する手法を設計することができた．従来手法に対して提案手法は約89.8%のオーバヘッド削減を達成できることを明らかにした．本研究成果は国際会議IEEE International Conference on Communicationsにおいて発表済みである．また，発展手法については，国際会議・学術論文誌への投稿に向けて準備を進めている．
（2）無線ネットワーク性能の変動に対処した多次元映像伝送技術：当初の予定どおり，本年度はグラフ信号処理を用いた伝送手法を設計した．デジタル符号化を用いた従来の点群伝送手法はネットワーク性能が変動するとともに復元品質が著しく低下する一方で，提案手法ではネットワーク性能に応じて復元品質が改善することを確認した．本研究成果は現在，学術論文誌に投稿中である．
（3）誤り・損失による品質低下を抑制する復元技術：当初の予定どおり，本年度は畳み込みニューラルネットワークを用いた復元手法を提案した．復元手法を利用することによって，構造的類似性を0.4，Peak Signal-to-Noise Ratioを12dB程度改善できることを明らかにした．本研究成果は国際会議IEEE International Conference on Communicationsにおいて発表済みである．
|
| Strategy for Future Research Activity |
（1）多次元映像の高効率圧縮技術：グラフ信号処理を用いた点群圧縮におけるさらなるオーバヘッド削減を達成するために，来年度は非線形量子化を組み合わせた点群圧縮手法を提案する．本年度に開発した点群圧縮手法ではギブンズ回転から得られたパラメータを一様分布にしたがう量子化間隔を用いて圧縮している．一方で，グラフフーリエ変換行列に対してギブンズ回転行列を用いたとき，得られたパラメータは一様分布に従わないことがわかっている．このとき，量子化による圧縮率は低下する．次年度は一様分布と異なる分布にしたがった量子化間隔を用いることでグラフフーリエ変換行列に要するオーバヘッドをさらに低減することを目指す．
（2）無線ネットワーク性能の変動に対処した多次元映像伝送技術：ハイブリッド点群伝送を用いることでネットワーク性能の変動に対して耐性を持つことはできたものの，現在の方式は未だに以下の課題を抱えている．１）可用帯域の変動に対する耐性：現在の手法においては点群伝送に要する帯域は一定であることを仮定している．一方で，実環境においては周辺の電波伝搬環境に応じて点群伝送に対して利用可能な帯域は時々刻々と変化する．時々刻々と変化する可用帯域に応じて点群情報を伝送するために，Stochastic Bottleneckを用いた点群伝送手法の基礎を提案する，２）ハイブリッド伝送の高度化：グラフ信号処理におけるグラフラプラシアン行列はグラフ信号間の分散・標準偏差をハイパーパラメータとしており，その最適性が不明瞭である．来年度はグラフ信号を対象としたグラフニューラルネットワークを用いることで，点群伝送のさらなる高品質化・高度化を目指す．
|
| Causes of Carryover |
ハイブリッド点群伝送手法を設計するにあたって直面したデジタル符号化技術とグラフ信号処理技術との適切な組み合わせ等の課題解決に時間を要してしまい，得られた研究成果を年度内に外部へ発表することができなかった．
次年度に回った金額については，当初の計画通り，本年度の取り組みおよび来年度の取り組みによって得られた研究成果を外部に発表するために使用する予定である．
|
Research Products
(15 results)
