| 研究課題/領域番号 |
21K12788
|
|---|
| 研究機関 | 九州工業大学 |
|---|
研究代表者 |
小林 順 九州工業大学, 大学院情報工学研究院, 准教授 (50315173)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 感情認識 / 生体信号 / 機械学習 / 生成モデル / バーチャルリアリティ |
|---|
| 研究実績の概要 |
2022年度は、研究代表者の体調不良により研究を進めることができなかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
感情喚起実験のための機械学習データ収集では、被験者にVRヘッドマウントディスプレイ（HMD）を装着させ、手にはVRコントローラを持たせて仮想現実（VR）のシーンを体験させた。その状態で被験者の生体信号を計測するためのシステムを試作し、4人の被験者でその動作を確認した。しかし、結果として異常値が頻繁に発生し、満足できる結果を得ることはできなかった。
心拍センサについては、装着の容易さを考慮して、被験者の胸に貼り付ける方式から、耳たぶに取り付ける方式に変更した。皮膚電気抵抗センサと皮膚温度センサについては、従来通り左手の薬指と小指に装着した。呼吸数の計測方法も、以前は腹部の動きから計測していたが、被験者の顎付近に二酸化炭素センサを設置して計測することに変更した。ただし、口元からセンサまでの距離が遠いため、呼吸数を正確に計測するための二酸化炭素の変化を検知することはできなかった。
VR HMDには、PCを必要としないスタンドアロン型のOculus Quest 2を採用した。その結果、感情喚起実験にはPCが必要なくなり、被験者自身が自宅で実験を行える環境を整えることができた。
生体信号の生成モデリングについては、被験者から収集した脳波スペクトログラム（4つのクラスで合計3600個）のデータ（以下、元データ）に対して、VAEとWGAN-GPを用いて生成モデルを作成した。VAEでは、スペクトログラムの再現性が悪かったため、その段階で中断した。一方、WGAN-GPでは、生成モデルを使用して3600個の擬似スペクトログラム（以下、擬似データ）を生成した。そして、元データの2520個（70%）と擬似データの3600個を訓練用データ、元データの720個（20%）を検証用データ、元データの360個（10%）をテスト用データとして使用し、6層のCNNを用いて4つのクラスに分類するモデルを構築した。その結果、正解率は36%から70%に、AUCは0.62から0.91に向上した。
|
| 今後の研究の推進方策 |
研究代表者の都合により感情喚起実験の実施が難しくなったため、研究の方針を切り替えることにする。具体的には、オープンデータを使用した生体信号の生成モデリングに焦点を当てる。これまでに生成モデリングでは、脳波スペクトログラムに対してWGAN-GPという手法を用いて擬似データを生成し、データの拡張を実施した。その結果、脳波パターンの識別性能は、正解率が36%から70%に向上した。今後は、最新の生成モデルである状態拡散モデルなどの応用も検討し、生体信号の生成モデリングの性能をさらに改善することを目指す。
|
| 次年度使用額が生じた理由 |
2022年度は、研究代表者の体調不良により研究を進めることができなかったため、次年度使用額が生じた。
|
