2022 Fiscal Year Research-status Report

適応型映像ミキサーにより多元中継の個人視聴を高機能化する新世代仮想スタジオ

Research Project

Project/Area Number	22K12275
Research Institution	Iwate Prefectural University
Principal Investigator	橋本浩二岩手県立大学, ソフトウェア情報学部, 教授 (80305309)
Project Period (FY)	2022-04-01 – 2025-03-31
Keywords	ストリーム中継パス管理機能 / 映像中継機能の適合 / 多元中継セッション構成プロトコル
Outline of Annual Research Achievements	インターネットを利用した多元中継に対する機能拡充への期待を背景とし、高機能な個人視聴を実現する「仮想スタジオシステム」の研究開発をしている。既存の映像中継システムでは、任意の場所と時間で送出される映像を用いた多元中継を、容易に個人視聴するための機能が充分には実現されておらず、多元中継される各種の映像を視聴者それぞれの要求に応じた映像として中継することが困難である。そこで本研究では、個人視聴を考慮した適応型の映像ミキサーを中核技術として、必要な多元中継機能を動的に構成し、視聴者毎の映像を適宜自動生成できる仮想的な中継スタジオをインターネット上に実現し、多元中継の新しい基盤技術として確立することを目指している。2022年度はおおむね順調に進展しており、本研究開発の成果を活かした応用研究の学会発表も行った。まず、スキーやスノーボード教室における滑走映像の中継を想定し、無線技術を用いた映像中継路を適応的に切り替えながら映像中継を行う機能の研究では、本研究開発における(a)論理的な機能要素によるストリーム中継パス管理機能と、(b)論理的な機能要素に対する物理的な機器の適合/調整機能を応用している。また、遠隔地間で実施されるダンスバトルを支援するためのマルチアングル映像切り替え機能の実験と、複数ドローンの連携により効果的な遠隔観光を実現するための遠隔操作機能の設計においては、本研究における(c)映像ソースグループと映像ミキサーグループを統合したセッション構成プロトコルを適用した。さらに、多元中継の機能検討の一環として、複数の全方位カメラと自由視点映像の機能的な効果を検証するため、VR空間上で多元中継をシミュレートする機能の検討にも着手した。このように、本研究開発の成果を具体的な応用研究と関連付けながら研究開発を進めている。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2022年度は、多元中継の中継路を論理的/物理的、かつ動的に構成することを目指し、オーバーレイネットワークを用いた中継パス管理機能の研究開発を進めた。まず、(a)論理的な機能要素によるストリーム中継パス管理機能を実現した。多元中継では、複数の送信元における複数の映像を想定して、それらの映像を中継する機能と、視聴者が視聴する映像を生成するための映像ミキサーの機能が必要であり、その映像ミキサーが生成した映像を視聴者に中継する機能も必要となる。これら各種の機能は多元中継を実施する際に必要となる論理的な機能であり、まずそれらの機能を論理的に管理するためのストリーム中継パス管理機能を設計しそのプロトタイプを実装した。次に、(b)論理的な機能要素に対する物理的な機器の適合/調整機能の設計と実装を進めた。論理的な機能に対して、対応する物理的な機器は1つとは限らず、当然のことながら、論理的な機能により構成される中継パスと、物理的に接続された各種の機器も1対1対応ではない。それらを階層的に分け、多元中継に必要となる論理的な機能を実現するための物理的な機器を適合したり調整したりできるようにすることで、適応的な多元中継の実施が可能となる。そして、(c)映像ソースグループと映像ミキサーグループを統合したセッション構成プロトコルの設計と実装を進めた。複数の送信元における複数の映像を意味的または地理的にまとめたり、複数の映像ミキサーをグループ化したりすることが可能となる。2022年度は、このプロトコルの設計を行い、一部を実装した。
Strategy for Future Research Activity	2023年度は、個人視聴機能の高機能化に向けた適応型映像ミキサーの設計と実装を進める。本研究代表者は、これまでにコンピュータネットワーク上で動作する映像ミキサーを試作しており、その映像ミキサーの機能を拡充することで研究開発を進める。まず、(d)オンデマンド映像ミキサーのセットアッププロトコルの設計と実装を行い、次に(e)映像ミキサーの状態情報および遠隔操作メッセージプロトコルの改良を進める。また、(f)適応型映像ミキサー機能及び多元中継の視聴機能の設計と実装を行い、映像ミキサーの機能の高度化を図る。さらに、視聴者毎の様々な観点で生成された映像を多元中継のパブリックビューイングとしても中継を可能とするための、(g)既存ライブ中継サービスとの連携機能を実現する。