エッジ情報処理を活用する高次元ストリーミングとアナリティクスへの応用

• 研究課題/領域番号: 23K11070
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分60060:情報ネットワーク関連
• 研究機関: 上智大学
• 研究代表者: 萬代 雅希 上智大学, 理工学部, 教授 (90377713)
• 研究期間 (年度): 2023-04-01 – 2027-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円); 2026年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2025年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円); 2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
• キーワード: ストリーミング / エッジコンピューティング

研究開始時の研究の概要

本研究は，エッジノードでの情報処理を活用する高次元ストリーミングによる臨場感あふれるコンテンツ視聴や新たな遠隔コミュニケーション基盤の確立と，高次元データをエッジアナリティクスに応用することを目的とする．2次元動画，360度VR動画に加えて，点群データ等のストリーミングを考える．また，エッジ情報処理としては，各種機械学習の利用を想定し，データのプライバシについても検討する．

研究実績の概要

本研究は，エッジ情報処理を活用する高次元ストリーミングとアナリティクスへの応用技術を確立することを目的としている．初年度は，各種映像のストリーミング配信および連合学習技術に関して基礎検討を進めた．映像のストリーミング配信に関しては，360度仮想現実（VR）ストリーミングおよび点群ストリーミングを扱った．
360度VRストリーミングに関しては，360度全天球画像を複数の領域（タイル）に分割し，ユーザの視線情報やネットワーク状態に応じて適切な品質のタイルをダウンロードする手法において，機械学習技術を用いて低解像度映像を高解像度映像に変換する超解像技術を適用する基本手法を考案した．さらに，360度映像のフレームレート（単位時間あたりに表示する画像数）に着目して，サーバからフレームレートを落とした動画をダウンロードした上で，クライアント側で機械学習技術を使ったフレーム補間技術を適用する基本手法を考案した．点群ストリーミングに関しては，リアルタイムで点群をセンサで取得し，ネットワークを介したユーザがそれを視聴するライブストリーミング環境の構築と，点群のデータ量を削減するために点群の色情報に着目したストリーミング手法を考案した．
エッジノードでの情報処理としては，連合学習について検討を進めた．具体的には，仮想環境上に一台の中央ノードと複数ノードを設置して，機械学習のパラメータをやりとりして分散学習する環境を構築し，各種基本性能を評価した．

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

各種ストリーミング手法における課題を解決する基本手法を考案し，エッジ技術として連合学習に関して検討を進めた．また，性能評価に必要な小規模な実験システムを構築した．全体として，おおむね順調に進展している．

今後の研究の推進方策

これまでに考案した各種ストリーミング手法の詳細のアルゴリズム等を定め，様々なエッジ情報処理の検討を進める．その性能を実機およびシミュレーションで定量的に評価し，必要に応じて各種手法を修正する．研究成果が得られたら対外的に発表する．