同世界放送のための分散型リアルタイム映像収集合成技術
| Project/Area Number |
22K12009
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
川上 朋也 福井大学, 学術研究院工学系部門, 准教授 (30710470)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺西 裕一 国立研究開発法人情報通信研究機構, ネットワーク研究所, 研究マネージャー (30403009)
義久 智樹 大阪大学, サイバーメディアセンター, 准教授 (00402743)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ライブ放送 / 映像配信 / 分散処理 / 画像処理 / テレプレゼンス / 映像合成 / 分散合成 / データ収集 / 遅延低減 |
|---|
| Outline of Research at the Start |
複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの実現を目的とする。多数の撮影者や視聴者が存在する場合、既存の映像収集方式や処理割り当て方式では、視聴端末での再生待ちや視聴中の再生途切れが増大する。本研究課題では快適な同世界放送を広域かつ大規模に提供するため、「合成処理を伴う分散リアルタイム映像収集」「要求品質に基づく適応的品質調整」「推定負荷に基づく動的ノード仮想化」の技術を確立する。
|
| Outline of Annual Research Achievements |
複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ（ノード）の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2022年度はまず、想定する同世界放送のために必要な映像処理技術の調査と検証を行った。また、「合成処理を伴う分散リアルタイム映像収集」に関する研究を進め、中継ノード上での映像を合成しつつ収集する分散合成手法を提案した。提案手法ではまず、撮影端末からのリアルタイム映像をクラウド上のノードで分担する。各映像の担当ノードは自身の仮想リンクに基づいて、ほかの担当ノードへリアルタイム映像を転送し、同世界映像として配信を担当するノードまで最終的に転送する。このとき、中継ノード上で複数の映像を合成し、合成後の映像のみ次のノードへ転送することで、通信負荷の削減や合成処理の分散を行える。さらに、合成予定の位置や奥行き情報から図4のような各映像の重なり（オクルージョン）を判別し、映像の収集と合成の順序に反映する。提案手法はシミュレーションやテストベッドを用いて評価し、ノードが多い環境で既存手法よりも計算時間が短く、リアルタイム性などにおける有効性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は2022年度から3年間を予定し、快適な同世界放送を広域かつ大規模に提供するため、「合成処理を伴う分散リアルタイム映像収集」「要求品質に基づく適応的品質調整」「推定負荷に基づく動的ノード仮想化」の3つの技術の確立を目指していた。2022年度には「合成処理を伴う分散リアルタイム映像収集」が完了し、ノードの仮想化とその適応的な管理方式についても研究を進めた。研究成果は学術論文誌や複数の国際会議でも発表し、学術論文誌に掲載された論文は同論文誌の年間に採録された論文の10%以下が選ばれる特選論文にもなった。以上により、本研究は計画時以上の成果を上げており、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
本研究課題の同世界放送において、各リアルタイム映像に要求される品質は最終的な合成映像によって異なる。2023年度には「要求品質に基づく適応的品質調整」に関する技術に取り組み、最終的な合成映像の品質に基づいて、要求を満たす最低限の品質で映像を転送する適応的な品質調整手法を検討する。過剰な品質の映像のやり取りを減らすことで、ノードの処理負荷や通信負荷を軽減できる。また、一つのリアルタイム映像が複数の異なる同世界映像で収集対象となる場合も考えられ、その場合は当該映像の担当ノードが適応的な品質で転送する。さらに、「推定負荷に基づく動的ノード仮想化」に関する技術にも一部取り組み、リアルタイム映像の収集や要求品質の状況、各ノードの性能などに基づき、仮想的なノード（仮想ノード）の追加や削除を動的に行う手法を検討する。処理性能に比べて負荷の小さいノードが仮想ノードをオーバレイネットワーク上に動的に追加し、ほかのノードの処理を分担することで、各ノードの負荷をそれぞれの許容値以下に抑え、深刻な処理遅延の発生を軽減できる。
|
Report
(1 results)
Research Products
(14 results)
