ユーザの価値観とコンテキストに基づくQoE評価および自由視点映像への応用

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K12060
• Research Institution: Yamanashi Eiwa College
• Principal Investigator: 稲積 泰宏 山梨英和大学, 人間文化学部, 准教授 (30367255)
• Co-Investigator(Kenkyū-buntansha): 松田 崇弘 東京都立大学, システムデザイン研究科, 教授 (50314381)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: QoE / ユーザの価値観 / コンテキスト / 自由視点映像 / HCI

Outline of Annual Research Achievements

本研究の目的は、自由視点映像の応用技術に対する、ユーザの使い勝手を考慮したQoEを推定することである。映像に対する既存のQoE評価は、映像を画素の集合と捉え、その信号処理や統計的性質などに基づいている。しかし、自由視点映像の場合、各ユーザによる視点制御で映像内容が変化するため、映像を画素の集合と捉える既存のQoE評価手法のアプローチは適用できないという問題がある。この問題を解決するために、本研究では、異なる視点の映像間で連結する意味情報を考える。自由視点映像の三次元空間を意味情報として表現することにより、意味情報に基づくQoE評価手法を開発する。本研究のアプローチは、意味情報の比較に着目しているが、画素の集合としての比較は対象としない。したがって、本研究の限界は、画素レベルの類似性を定量化できない点である。一方で、画素に縛られない意味情報に基づいた本質的な比較が期待できる。
2020年度までの調査結果により、「画素集合の比較から意味情報の比較」に移行するためには、画像内容の意味情報が記述されたデータセットに対象を絞る必要があることが明らかになっていた。2021年度は、RISING2021に参加して得られた深層学習の知見に基づき、対象とするデータセットを高精度で認識できるモデルを開発することができた。これは、静止画像ではあるが、「画素集合の比較から意味情報の比較」に問題を移行していると言える。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究の本質である、「画素集合の比較から意味情報の比較」に問題を切り替えることができたが、情報収集や学会発表が十分に行えず、全体的に遅れている。

Strategy for Future Research Activity

画像認識のモデルに基づいたQoE評価手法の開発を行う予定である。

Causes of Carryover

次年度使用額が生じた理由は、主に、情報収集や学会発表ができなかったためである。2022年度はハードウェアの整備を進めつつ、対面及びオンライン学会に参加する予定である。