2020 Fiscal Year Annual Research Report
Development of innovative QoE analysis / evaluation system for HD video using brain function and physiological measurement.
| Project/Area Number |
17K00154
|
|---|
| Research Institution | University of Toyama |
|---|
Principal Investigator |
堀田 裕弘 富山大学, 学術研究部都市デザイン学系, 教授 (80209303)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 画質評価 / 生体情報 / NIRS / QoE / 心拍変動 / 人の嗜好 |
|---|
| Outline of Annual Research Achievements |
◎NIRSや心拍変動を用いた快・不快画像観察時の人の快・不快に関連する嗜好の推定
〇QoEの評価方法としてNIRSを用いた脳血流動態における酸素化ヘモグロビン(Oxy-Hb)の測定と主観評価実験を行い，画像観察時の脳血流動態と嗜好との関連性についてディープラーニングを用いて調査を行った。測定結果に対して，ウェーブレット変換とニューラルネットワークを用いた推定を行い，その結果について検証した。学習に用いる入力データの違いによる学習精度の変化について調査し，NIRSの単一Chよりも，複数Chのデータをアンサンブルした場合に推定精度が向上することが確認できた。加えて，脳血流動態の低周波成分を用いた場合にも学習精度の向上がみられることが分かった。
〇心拍変動や脈波などの生体信号は，ユーザの無意識からの価値観や嗜好を推定するのには有効である。そこで，学習済み畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）とSupport vector machine（SVM）を用い，静止画像に対する被験者の心拍変動スペクトログラム（HRVS : Heart rate variability spectrogram) を作成，加えてスペクトログラムの時間的差分変化量を表現したものを作成し，人の嗜好を判別できるかを調査した。具体的には，VGG16，ResNet50，Inception-V3の学習済みのモデルを転移学習した。これらのモデルを用い，被験者に画像を見せ計測したHRVSの特徴量を抽出し，SVMを用いて被験者の嗜好を判別できるかを確認した。その結果，残差スペクトログラムを用いた学習の精度がより高かった。これは，周波数振幅の時間的変化がより顕著になり，その点が判別するための手がかりになる可能性を示した。
|
