エッジ情報処理を活用する高次元ストリーミングとアナリティクスへの応用

• Project/Area Number: 23K11070
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60060:Information network-related
• Research Institution: Sophia University
• Principal Investigator: 萬代 雅希 上智大学, 理工学部, 教授 (90377713)
• Project Period (FY): 2023-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2026: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: ストリーミング / エッジコンピューティング

Outline of Research at the Start

本研究は，エッジノードでの情報処理を活用する高次元ストリーミングによる臨場感あふれるコンテンツ視聴や新たな遠隔コミュニケーション基盤の確立と，高次元データをエッジアナリティクスに応用することを目的とする．2次元動画，360度VR動画に加えて，点群データ等のストリーミングを考える．また，エッジ情報処理としては，各種機械学習の利用を想定し，データのプライバシについても検討する．

Outline of Annual Research Achievements

本研究は，エッジ情報処理を活用する高次元ストリーミングとアナリティクスへの応用技術を確立することを目的としている．初年度は，各種映像のストリーミング配信および連合学習技術に関して基礎検討を進めた．映像のストリーミング配信に関しては，360度仮想現実（VR）ストリーミングおよび点群ストリーミングを扱った．
360度VRストリーミングに関しては，360度全天球画像を複数の領域（タイル）に分割し，ユーザの視線情報やネットワーク状態に応じて適切な品質のタイルをダウンロードする手法において，機械学習技術を用いて低解像度映像を高解像度映像に変換する超解像技術を適用する基本手法を考案した．さらに，360度映像のフレームレート（単位時間あたりに表示する画像数）に着目して，サーバからフレームレートを落とした動画をダウンロードした上で，クライアント側で機械学習技術を使ったフレーム補間技術を適用する基本手法を考案した．点群ストリーミングに関しては，リアルタイムで点群をセンサで取得し，ネットワークを介したユーザがそれを視聴するライブストリーミング環境の構築と，点群のデータ量を削減するために点群の色情報に着目したストリーミング手法を考案した．
エッジノードでの情報処理としては，連合学習について検討を進めた．具体的には，仮想環境上に一台の中央ノードと複数ノードを設置して，機械学習のパラメータをやりとりして分散学習する環境を構築し，各種基本性能を評価した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

各種ストリーミング手法における課題を解決する基本手法を考案し，エッジ技術として連合学習に関して検討を進めた．また，性能評価に必要な小規模な実験システムを構築した．全体として，おおむね順調に進展している．

Strategy for Future Research Activity

これまでに考案した各種ストリーミング手法の詳細のアルゴリズム等を定め，様々なエッジ情報処理の検討を進める．その性能を実機およびシミュレーションで定量的に評価し，必要に応じて各種手法を修正する．研究成果が得られたら対外的に発表する．