Innovative human "emotion / preference / satisfaction" estimation system realized by wearable devices
| Project/Area Number |
21K11902
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 60080:Database-related
|
|---|
| Research Institution | University of Toyama |
|---|
Principal Investigator |
堀田 裕弘 富山大学, 学術研究部都市デザイン学系, 教授 (80209303)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | ウェアラブルデバイス / 嗜好推定 / 心拍間隔(RRI) / 時系列フォレスト分類 / 連続ウェーブレット変換 / CNN / SVM / 酸素化ヘモグロビン（Oxy-Hb） / 心拍変動RRI / 感情・嗜好・満足度 / 人の生活品質(QoL) / 像コンテンツ / 生体情報測定 |
|---|
| Outline of Research at the Start |
ウェアラブルデバイス等から得られる様々な生体情報や行動情報だけで人の「感情・嗜好・満足度」を精度よく推定できる革新的なシステム開発を目指す。像コンテンツをモニタで観察した際の、人が抱く「嗜好」と計測した脳機能情報（NIRS）や様々な生体情報（脈波、心電位、皮膚温、体動量など）との関連性を見出した一連の研究戦略を、人の「感情・嗜好・満足度」の推定に応用展開することを考える。ラボベースで得られた新たな知見を、像コンテンツ観察（画素解像度有限の世界）から一般的な生活空間（画素解像度無限の世界）に対して応用展開することで、非侵襲で実現できる革新的な人の「感情・嗜好・満足度」推定法の基礎技術を確立する。
|
| Outline of Annual Research Achievements |
本研究では，QoEの定量的な評価を目的として，生体情報を用いて，画像観察時の嗜好推定が個人差や画像内容にどの程度影響を及ぼされるのかの検討を行った．検討の際には，嗜好の推定により得られた精度から考察を行った．視覚刺激に標準化された感情誘発データベースとしてNAPS(Nencki Affective Picture System)を活用した．印象評価において(happiness)が高得点とされた画像15枚，(disgust)が高得点とされた画像15枚の計30枚の画像を実験素材として選定した．ディスプレイに提示された画像から受け取る嗜好を推定するための基となる主観評価実験アンケートでは，好き・嫌い，快・不快，覚醒・不覚醒の3項目をそれぞれ5段階評価で回答してもらった．心拍間隔計測のためTDK社のSilmee Bar type Liteを用い，Silmeeを用いて計測した心拍間隔(RRI)データに対し，アンケートの好き・嫌いの2項分類を行った．推定にはTime Series Forest Classifier(TSF)を用いた．結果として精度の良い画像には，グロテスクな画像が多く，精度の悪い画像には風景画像などの穏やかな画像が多いことが判明した．また，人物においては好きな画像の推定精度が良い人物群と，嫌いな画像の推定精度が良い人物群に分けることができた． これらから，好き画像の推定精度が良い人物でつくられたモデルと，嫌い画像の推定精度が良い人物でつくられたモデルを組み合わせることで，より良い精度のモデルを構築できるのではないかと考えられる．また，推定の傾向として嫌い画像の推定精度の方が良い傾向にあることから，ストレス調査や改善・是正のための調査など，よりマイナス方向の感情が重要な調査において心拍間隔を用いた客観評価は有用である可能性が示唆された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，QoEの定量的な評価を目的として，生体情報を用いて，画像観察時の嗜好推定が個人差や画像内容に与える影響を検討するために，感情誘発データベースとしてNAPS(Nencki Affective Picture System)を活用し，ディスプレイに提示された画像から受け取る嗜好を，心拍間隔計測から得られる心拍間隔(RRI)データに対し，Time Series Forest Classifier(TSF)を用いて推定を行いアンケートの好き・嫌いの2項分類を行った．
さらに、実世界での応用を視野に入れて、ウェアラブルデバイスを用いた人の歩行時における心拍変動と身体的加速度を使用した自覚的疲労度の推定モデルの構築を回帰分析により行う．ランダムフォレスト回帰やエクストラツリー回帰等の決定木を用いた回帰分析を用いて推定モデルの精度を検証する．
〇これまで得られた研究成果は、学会発表（電子情報通信学会イメージメディアクオリティ研究会、
同ヒューマンコミュニケーショングループシンポジウムなど）を４件行っていることより、研究成果の早期情報公開が実践できている。
|
| Strategy for Future Research Activity |
本研究では，QoEの定量的な評価を目的として，生体情報を用いて，画像観察時の嗜好推定が個人差や画像内容に与える影響を検討するために，感情誘発データベースとしてNAPS(Nencki Affective Picture System)を活用し，ディスプレイに提示された画像から受け取る嗜好を，心拍間隔計測から得られる心拍間隔(RRI)データに対し，Time Series Forest Classifier(TSF)を用いて推定を行いアンケートの好き・嫌いの2項分類を行った．
さらに、実世界での応用を視野に入れて、ウェアラブルデバイスを用いた人の歩行時における心拍変動と身体的加速度を使用した自覚的疲労度の推定モデルの構築を回帰分析により行う．ランダムフォレスト回帰やエクストラツリー回帰等の決定木を用いた回帰分析を用いて推定モデルの精度を検証する．
〇これまで得られた研究成果は、学会発表（電子情報通信学会イメージメディアクオリティ研究会、
同ヒューマンコミュニケーショングループシンポジウムなど）を４件行っていることより、研究成果の早期情報公開が実践できている。
|
Report
(2 results)
Research Products
(10 results)
