| Project/Area Number |
22K12275
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Iwate Prefectural University |
|---|
Principal Investigator |
橋本 浩二 岩手県立大学, ソフトウェア情報学部, 教授 (80305309)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 映像ミキサー操作プロトコル / 適応型映像ミキサー / ストリーム中継パス管理機能 / 映像中継機能の適合 / 多元中継セッション構成プロトコル / 多元中継 / 仮想スタジオ |
|---|
| Outline of Research at the Start |
インターネットを利用した多元中継に対する機能拡充への期待を背景とし、高機能な個人視聴を実現する仮想スタジオシステムを研究開発する。個人視聴に適応可能な映像ミキサーを中核技術として、必要な多元中継機能を動的に構成し、視聴者毎の映像を適宜自動生成できる仮想的な中継スタジオをインターネット上に実現し、多元中継の新しい基盤技術として確立する。多元中継における視聴者毎のミキシング処理を自動化することで、映像中継の主旨や視聴目的に応じた多元中継の個人視聴が容易に可能となる。これにより、祭りやスポーツ大会等の多元中継において、これまで実現が困難であった高度な個人視聴を支援できる新しい仕組みを創出する。
|
| Outline of Annual Research Achievements |
昨年度同様、研究開発はおおむね順調に進展しており、本研究開発の成果を活かした応用研究の学会発表も行った。
視聴者要求に基づき複数の中継映像を合成するパーソナルミキサーの研究においては、撮影している複数のソース映像内の撮影対象やシーンに対して地理的または意味的な分類を行う機能としてセマンティックグルーピング機能を、そして、視聴映像の選択や画面配置の調整など視聴者の要求にもとづき映像を生成する機能としてパーソナルミキサー機能を設計し、そのプロトタイプシステムを通して機能の有用性を評価した。そのシステムの内部機能として、本研究で開発を進めているオンデマンド映像ミキサーのセットアッププロトコルと、映像ミキサーの状態情報および遠隔操作のためのメッセージプロトコル、および適応型映像ミキサーの機能を活用している。
自動車競技中継における途中視聴者毎の要求に応じた要約映像生成機能の研究においては、自動車競技中継の様々なシーンへの要求が視聴者毎に異なることを考慮し、比較的短い時間の中で発生する複数のレースシーンをまとめ、視聴者毎のダイジェスト映像を生成する仕組みの実現を目指し、複数映像の同時再生を考慮したダイジェスト再生機能を設計し、その視聴機能の一部をプロトタイプシステムとして実現した。その際にも、本研究で開発を進めている適応型映像ミキサーの機能を活用している。
このように、本研究開発の成果物は、適応型映像ミキサーの機能を必要とする応用研究を支援している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2023年度は、個人視聴機能の高機能化に向けた適応型映像ミキサーの設計と実装を進めた。
まず、ネットワークのバックエンドで映像ミキサーを適宜稼働させるための、オンデマンド映像ミキサーセットアッププロトコルの設計と実装を行った。その際、映像ミキサーの状態情報および遠隔操作メッセージプロトコルの改良も進めた。遠隔操作を実現するために、JSON-RPCを基盤とした遠隔操作用の機能とAPIを整備し、それを応用研究で活用している。加えて、活用の幅を広げるため、gRPCを基盤とした遠隔操作用の機能とAPIの整備も進めている。
適応型映像ミキサー機能及び多元中継の視聴機能の設計と実装も進めており、ネットワークのバックエンドで稼働する映像ミキサーの入力を視聴端末から動的に追加/削除することが可能となっている。入力の動的な追加/削除に加えて、ミキシング機能自体も遠隔から操作したり、何らかのアルゴリズムを適用させたりすることも可能となり、応用研究での活用を通してミキシング機能の高度化を図っている。
さらに、視聴者毎の様々な観点で生成された映像を多元中継のパブリックビューイングとしても中継を可能とするため、既存ライブ中継サービスとの連携機能の一部を実現した。
|
| Strategy for Future Research Activity |
2024年度は、仮想スタジオシステムの構築に向けた研究開発を進める。仮想スタジオシステムの構築にあたり、まず、バックエンドにおけるユニキャストとマルチキャストを組み合わせた効率的なストリーム中継機能の設計と実装を進めると共に、ローカルおよびバックエンドの両方を考慮した映像ミキサーの負荷分散機能の設計と実装を行う。また、これまでに実現した各種の機能に対するスケーラビリティを確保するため、仮想マシン環境を利用した映像中継プラットフォームの環境を構築する。そして、多元中継と適応型の個人視聴機能、各種機能の動的構成、及びスケーラビリティに関する評価実験を実施する。
|
