2022 Fiscal Year Annual Research Report
低遅延かつ高品質な映像視聴を実現するライブ配信技術
| Project/Area Number |
22H03587
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
後藤 佑介 岡山大学, 環境生命自然科学学域, 准教授 (10551038)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
義久 智樹 大阪大学, サイバーメディアセンター, 准教授 (00402743)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | ライブ配信システム / 待ち時間 / 再生途切れ / スケジューリング / マルチキャスト |
|---|
| Outline of Annual Research Achievements |
本研究課題では、ライブ配信において映像データ受信時の待ち時間および視聴中の再生途切れといった遅延時間を短縮するとともに、視聴時の映像を再生処理時に高解像度化して品質を高めるライブ配信技術を構築する。本年度は、動画配信において、低品質の映像受信時に特徴量が多いフレームを優先して超解像処理を行いながら動画を再生することで視覚的な映像品質を向上させる手法を提案し、有用性を評価した。提案手法では、クライアントが一定時間分の映像をバッファに保存しながら再生するとき、再生開始までの間で、特徴量が多く視覚的な品質向上の効果が高いと予測されるフレームを優先して超解像処理を行う。評価では、提案手法、特徴量に基づいて超解像フレームを選択しない手法、およびすべてのフレームをバイキュービック法によって拡大する手法の3種類を用いて、配信映像に応じた視聴映像の視覚的な品質について、再生フレームの平均PSNR、平均SSIM、および平均LPIPSで比較した。評価の結果、時間的変化が大きい映像の再生時は、解像度やフレームレートに関係なく、提案手法が他の手法と比べて視覚的な品質向上の効果が高いことを示した。以上より、計算資源が十分でないクライアント計算機で超解像処理を行う場合、提案手法を適用することで、単純手法に比べて視覚的な映像品質の向上効果を高めるとともに、特徴検出にかかる負荷を減らすことで超解像処理を行うフレーム数を減少でき、視聴品質を向上できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
動画配信において、低品質の映像受信時に特徴量が多いフレームを優先して超解像処理を行いながら動画を再生することで視覚的な映像品質を向上させる手法を提案し、有用性を評価した。また、期間中に、雑誌論文（査読有）を１件，英語発表件数（査読有）を３件、日本語発表件数（査読無）を７件作成した。
|
| Strategy for Future Research Activity |
一つ目は、無線LAN環境におけるWebRTCを用いた多視点ライブ配信システムの開発である。提案システムでは、WebRTC に基づいて複数のモバイル端末に実装した映像配信機能を利用することで、配信に仕様する機材やソフトウェアの知識の有無に関わらず、配信者はライブ配信における負担を減少する。また、端末間でデータを送受信することで、データ配信で使用する帯域幅の増加を抑える。さらに、ライブ配信中に映像を切り替えるビデオスイッチング機能を利用することで、配信視点が動的に切り替わるライブ配信を行う。
二つ目は、放送通信融合環境におけるユーザの課金状況を考慮した配信スケジュールの作成手法の提案である。提案手法では、従来の放送方式と通信方式によるセグメントの配信とともに、課金ユーザに対してすべてのセグメントを持つ端末であるスーパーノードが端末間でセグメントを配信するようにスケジューリングすることで、再生中断時間を短縮する。
|
