|
本研究の目的は、自由視点映像の応用技術に対する、ユーザの使い勝手を考慮したQoEを推定することである。映像に対する既存のQoE評価は、映像を画素の集合と捉え、その信号処理や統計的性質などに基づいている。しかし、自由視点映像の場合、各ユーザによる視点制御で映像内容が変化するため、映像を画素の集合と捉える既存のQoE評価手法のアプローチは適用できないという問題がある。この問題を解決するために、本研究では、異なる視点の映像間で連結する意味情報を考える。自由視点映像の三次元空間を意味情報として表現することにより、意味情報に基づくQoE評価手法を開発する。本研究のアプローチは、意味情報の比較に着目しているが、画素の集合としての比較は対象としない。したがって、本研究の限界は、画素レベルの類似性を定量化できない点である。一方で、画素に縛られない意味情報に基づいた本質的な比較が期待できる。 2020年度までの調査結果により、「画素集合の比較から意味情報の比較」に移行するためには、画像内容の意味情報が記述されたデータセットに対象を絞る必要があることが明らかになっていた。2021年度は、RISING2021に参加して得られた深層学習の知見に基づき、対象とするデータセットを高精度で認識できるモデルを開発することができた。これは、静止画像を対象として、「画素集合の比較から意味情報の比較」に問題を移行したと言える。2022年度は、静止画像に対する複数の画像認識アルゴリズムの性能評価を行なった。2023年度は、静止画像を対象として深層学習を用いた意味情報の抽出アルゴリズムの実装を行なった。これにより、小規模ではあるが、静止画像データに対する客観的なQoE評価モデルを構築することが可能となった。
|
