2021 Fiscal Year Research-status Report
Innovative human "emotion / preference / satisfaction" estimation system realized by wearable devices
| Project/Area Number |
21K11902
|
|---|
| Research Institution | University of Toyama |
|---|
Principal Investigator |
堀田 裕弘 富山大学, 学術研究部都市デザイン学系, 教授 (80209303)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ウェアラブルデバイス / 嗜好推定 / 連続ウェーブレット変換 / CNN / SVM / 酸素化ヘモグロビン（Oxy-Hb） / 心拍変動RRI |
|---|
| Outline of Annual Research Achievements |
〇脳血流動態における酸素化ヘモグロビン（Oxy-Hb）の計測データを用いた嗜好の推定を行うために，画像視聴時の脳血流動態の測定とニューラルネットワークでの学習を行った。主観評価実験では，Nencki Affective Picture System（NAPS）データベースの中で開示されている「幸福」度の評価が高い画像を「好き画像（like）」，「嫌悪」度の高い画像を「嫌い画像（dislike）」とし、被験者に「嫌い=1」，「好き=5」として5 件法で回答してもらった。計測データの低周波成分を用いた入力データによる学習精度の変化について調査し，単一 Chよりも，複数 Ch のデータを用いた場合に精度が向上することが確認できた。加えて，多数決法においても学習精度の向上がみられることが分かった。これらのことから，学習データには複数Chの情報を含み，かつ，低周波成分を抽出したデータを用いることが有効であると考えられる。
〇NAPSより選定した静止画像を用いて心拍変動計測実験と嗜好の主観評価実験を行った。TDK社のSilmee Bar type Lite（Silmee）を用いて得たR-R間隔（RRI）を，短時間フーリエ変換および連続ウェーブレット変換を行い，スペクトログラム（振幅スペクトログラム，位相スペクトログラム，残差スペクトログラム）とスカログラムを作成した。この画像を学習済み畳み込みニューラルネットワークCNNを用いて特徴を抽出する。学習済みCNNとしてVGG16，ResNet50，Inception-V3を用いた。この特徴を用いてサポートベクターマシンSVMによって嗜好推定を行った。複数の手法を利用した多数決法を用いることで，先行研究より推定精度の向上が見られ，また有意差が見られたことからその有効性が認められた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
〇Nencki Affective Picture System（NAPS）データベースの中で開示されている「幸福」度の評価が高い画像を「好き画像（like）」，「嫌悪」度の高い画像を「嫌い画像（dislike）」として、被験者に「嫌い=1」，「好き=5」として5 件法で心象を回答してもらった主観評価実験データをベースとして、同時に取得した、脳血流動態における酸素化ヘモグロビン（Oxy-Hb）の計測データ、TDK社のSilmee Bar type Lite（Silmee）を用いた心拍変動計測データなどの脳機能・生体情報との関係性について、３層型ニューラルネットワーク、短時間フーリエ変換および連続ウェーブレット変換、学習済み畳み込みニューラルネットワークCNN（VGG16，ResNet50，Inception-V3）、サポートベクターマシンSVMなどの学習系アプローチを駆使して嗜好推定を実践できており、先行研究より推定精度の向上が見られ、また有意差が見られたことからその有効性が認められている。
〇これまで得られた成果は、電気学会論文誌C（電子・情報・システム部門誌）：IEEJ Transactions on Electronics, Information and Systemsにレター論文として２件採録になっており、また、学会発表などを４件行っていることより、研究成果の早期情報公開が実践できている。
|
| Strategy for Future Research Activity |
〇生活空間に関係する像コンテンツの観察時における脳機能・生体情報の同時計測
実験素材として様々な広告分野などで用いられる「情報サイネージ画像」を収集し、刺激素材として利用する。素材数は50枚程度を想定している。実験環境は、「自然画像」と同じ環境下で行い、評定者数もほぼ同程度とする。
〇測定情報と「感情・嗜好・満足度」との関連性から得られる各推定因子の定量化
生活空間での実利用を想定して、被験者に中心市街地や郊外の名所などを回遊してもらい、その時の生体情報と行動情報、QoLとQoEのアンケート結果を収集する。この時、回遊時の映像もGoProなどを用いて同時に取得しておく。行動情報からは以下が取得できるので、これらから行動情報に特徴的な指標の定量化が必要である。歩行計測：歩行速度、歩幅、設置角度、足上げ高さ、外廻し距離。同様な統計解析・深層学習をそれぞれ行い、「感情・嗜好・満足度」それぞれの推定に有用な因子の再抽出と定量化の見直しを行う。適宜実施したいアンケート結果を効率よく収集するために、スマホやPDAで実現できるアプリ開発（ArcGIS利用）も行う。
|
| Causes of Carryover |
コロナ禍により実出張ができなかったため。
|
