超多数ユーザへの同時提供のための高効率高機能映像符号結合方式とメディア間連携方式

2014 Fiscal Year Research-status Report

• Project/Area Number: 25330126
• Research Institution: The University of Electro-Communications
• Principal Investigator: 笠井 裕之 電気通信大学, 情報システム学研究科, 准教授 (40312079)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Keywords: マルチメディア / 高速多重化器 / 音響信号 / 楽器認識

Outline of Annual Research Achievements

多数ユーザへのインタラクティブ複数映像配信システムにおいて，より高速な多重化方式については研究課題が残っていた．さらに，画像・音響信号等のモデリング・解析・学習・理解・処理による本配信システムとの連携方式は，よりリッチな高機能な映像配信システムを実現する上で極めて重要な基盤技術である．本研究では，これらについて研究を行った．
前者については，複数映像結合後の多重化処理における処理遅延・処理量の低減を目的とした．具体的には，符号化情報およびそれらの音響符号化情報を結合し多重化情報を生成する際，実際の映像結合処理を行うことなく，多重化情報のヘッダ情報を予測生成することで，実際の複数映像の結合処理に伴う処理を回避し，また生成された結合情報に必要なメモリ量を必要することなく，多重化情報の先頭情報を低遅延に出力可能な手法について研究した．これにより，従来まで中間データとして一時的に生成していた複数映像結合符号化ビットストリームの生成および保存が不要となり，必要処理量やメモリ量，ディスク容量，アクセス量が大きく削減される．評価実験から，従来方式と比較して数100-1000倍の高速化が実現できることを確認した．
一方，後者については，楽曲中の多重音解析による，より高度な楽曲理解手法に着目した．具体的には，楽器カテゴリ同定による基底スペクトル高速探索方式による多重音解析技術を提案・評価した．特に，複数の楽器が含まれている場合の楽器の同定を解析前に行うことで，解析フェーズにおいて問題となっていた構成基底ベクトル探索における処理量増加の問題を，教師無しNMFによる評価により探索範囲を制限することで解決した．これにより，認識精度を維持しながら，高速な探索が実現されることを確認した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

低遅延なリアルタイム順次多重化方式については，当初の目的を達成し，映像に付随する音響情報可視化のための音響信号分離・解析・認識方式についても，楽器認識の精度向上を達成し，順調に進んでいる．

Strategy for Future Research Activity

特に，映像に付随する音響情報可視化のための音響信号分離・解析・認識方式については，大規模データへの対応が必要となり，特に，基盤技術としての最適化問題をどのように解くかが大きな鍵となる．今後は，この点について注力してきながら，当初の目的の達成を目指していく．

Causes of Carryover

当初，データ整理などの謝金を支払う予定であったが，担当者の採用ができず，結果，支払いができなかった．また，学会発表等での出張を予定していたが，予定通りの投稿が行えず，出張旅費を支出することができなかったため．

Expenditure Plan for Carryover Budget

特に，学会発表や調査を積極的に行っていく．また，データ整理作業等の担当者を早急に採用し，作業を開始することで謝金支払いを行っていく．