2023 Fiscal Year Research-status Report
同世界放送のための分散型リアルタイム映像収集合成技術
| Project/Area Number |
22K12009
|
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
川上 朋也 福井大学, 学術研究院工学系部門, 准教授 (30710470)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
寺西 裕一 国立研究開発法人情報通信研究機構, ネットワーク研究所, 研究マネージャー (30403009)
義久 智樹 滋賀大学, データサイエンス学系, 教授 (00402743)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ライブ放送 / 映像配信 / 分散処理 / 画像処理 / テレプレゼンス |
|---|
| Outline of Annual Research Achievements |
複数のリアルタイム映像に背景除去などの処理を行い、抽出した撮影対象を一つの映像内に合成することで、撮影対象がまるで同じ空間に存在するようなライブ放送を実現できる。本研究課題ではこのようなライブ放送を「同世界放送」と呼び、高いスケーラビリティでの同世界放送システムの実現を目的とする。高いスケーラビリティを維持したシステムでは処理コンピュータ（ノード）の追加や削除によって各ノードの処理負荷や通信遅延を制御でき、同世界映像が視聴端末で再生されるまでの待ち時間や視聴中の再生途切れ時間も軽減できる。2023年度には「要求品質に基づく適応的品質調整」に関する研究を進め、リアルタイムに収集や処理が可能な映像品質の調査と検証を行った。さらに、同世界放送で必要な映像の背景の除去や置換について、機械学習を用いて背景箇所を推定し、リアルタイムに背景の除去や置換が可能な手法を提案した。提案手法は複数台の計算機やスマートフォンを用いて実装し、背景箇所の推定や置換などの高負荷な処理はネットワーク内のGPUを搭載した高性能な計算機に依頼することで、低性能な計算機やスマートフォンの画面上でも背景除去後の映像をリアルタイムに視聴できることを確認した。実装システムは情報技術に関する展示会でのデモや博物館での実証実験も行った。デモや実証実験での一般の体験者からの評価もおおむね高く、特に実証実験では1日で延べ60名以上が実装システムを体験し、アンケートの回答からは今後の改善につながる多くの貴重な意見が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究課題は2022年度から3年間を予定し、快適な同世界放送を広域かつ大規模に提供するため、「合成処理を伴う分散リアルタイム映像収集」「要求品質に基づく適応的品質調整」「推定負荷に基づく動的ノード仮想化」の3つの技術の確立を目指していた。2023年度には「要求品質に基づく適応的品質調整」やリアルタイムでの映像の背景の除去や置換について研究を進めた。研究成果はオープンアクセスの英文論文誌や複数の国際会議でも発表し、英文論文誌に掲載された論文は同論文誌の推薦論文である。以上により、本研究は計画時以上の成果を上げており、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
2024年度には同世界放送で必要な映像の背景の除去や置換について、リアルタイムに実現可能な手法の研究を引き続き進める。2024年度にはリアルタイムに背景の除去や置換を行う映像や端末の数を増やし、評価における利用者の規模を拡大する。2023年度と同様、展示会でのデモや博物館などの実証実験も行い、一般の利用者による評価も幅広く行う。また、「推定負荷に基づく動的ノード仮想化」に関する技術にも取り組み、リアルタイム映像の収集や要求品質の状況、各ノードの性能などに基づき、仮想的なノード（仮想ノード）の追加や削除を動的に行う手法を検討する。処理性能に比べて負荷の小さいノードが仮想ノードをオーバレイネットワーク上に動的に追加し、ほかのノードの処理を分担することで、各ノードの負荷をそれぞれの許容値以下に抑え、深刻な処理遅延の発生を軽減できる。
|
| Causes of Carryover |
[理由] 国際会議発表のために外国旅費も見込んでいたが、オンライン参加となったため、旅費が大幅に削減された。
[使用計画] 当該年度の進捗状況から、次年度も当初計画以上の研究成果が期待できる。そのため、国内旅費や学会参加費、論文誌掲載料に用いる。
|
