研究課題/領域番号 |
21K12788
|
研究種目 |
基盤研究(C)
|
配分区分 | 基金 |
応募区分 | 一般 |
審査区分 |
小区分90150:医療福祉工学関連
|
研究機関 | 九州工業大学 |
研究代表者 |
小林 順 九州工業大学, 大学院情報工学研究院, 准教授 (50315173)
|
研究期間 (年度) |
2021-04-01 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
3,640千円 (直接経費: 2,800千円、間接経費: 840千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
|
キーワード | 感情認識 / 生体信号 / 機械学習 / 生成モデル / バーチャルリアリティ |
研究開始時の研究の概要 |
精神衛生を支援する感情認識システムを機械学習で実現するためには、ユーザーの感情を正確に反映した学習データを大量に用意する必要がある。従来は学習データを収集するために、画像や動画を提示して被験者の感情を喚起していた。しかし、期待した感情が喚起できるとは限らないし、被験者に精神的な苦痛を与えてしまう可能性もある。本研究では、VR技術を活用して期待通りの感情を被験者に喚起することで、機械学習に必要なデータ(生体信号)を収集する。また、収集したデータに対して機械学習の技術を適用し、擬似的な生体信号を生成する。そしてこれらの手法で学習データを大量に用意し、高い認識率を持つ感情認識システムを実現する。
|
研究実績の概要 |
2022年度は、研究代表者の体調不良により研究を進めることができなかった。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
感情喚起実験のための機械学習データ収集では、被験者にVRヘッドマウントディスプレイ(HMD)を装着させ、手にはVRコントローラを持たせて仮想現実(VR)のシーンを体験させた。その状態で被験者の生体信号を計測するためのシステムを試作し、4人の被験者でその動作を確認した。しかし、結果として異常値が頻繁に発生し、満足できる結果を得ることはできなかった。 心拍センサについては、装着の容易さを考慮して、被験者の胸に貼り付ける方式から、耳たぶに取り付ける方式に変更した。皮膚電気抵抗センサと皮膚温度センサについては、従来通り左手の薬指と小指に装着した。呼吸数の計測方法も、以前は腹部の動きから計測していたが、被験者の顎付近に二酸化炭素センサを設置して計測することに変更した。ただし、口元からセンサまでの距離が遠いため、呼吸数を正確に計測するための二酸化炭素の変化を検知することはできなかった。 VR HMDには、PCを必要としないスタンドアロン型のOculus Quest 2を採用した。その結果、感情喚起実験にはPCが必要なくなり、被験者自身が自宅で実験を行える環境を整えることができた。 生体信号の生成モデリングについては、被験者から収集した脳波スペクトログラム(4つのクラスで合計3600個)のデータ(以下、元データ)に対して、VAEとWGAN-GPを用いて生成モデルを作成した。VAEでは、スペクトログラムの再現性が悪かったため、その段階で中断した。一方、WGAN-GPでは、生成モデルを使用して3600個の擬似スペクトログラム(以下、擬似データ)を生成した。そして、元データの2520個(70%)と擬似データの3600個を訓練用データ、元データの720個(20%)を検証用データ、元データの360個(10%)をテスト用データとして使用し、6層のCNNを用いて4つのクラスに分類するモデルを構築した。その結果、正解率は36%から70%に、AUCは0.62から0.91に向上した。
|
今後の研究の推進方策 |
研究代表者の都合により感情喚起実験の実施が難しくなったため、研究の方針を切り替えることにする。具体的には、オープンデータを使用した生体信号の生成モデリングに焦点を当てる。これまでに生成モデリングでは、脳波スペクトログラムに対してWGAN-GPという手法を用いて擬似データを生成し、データの拡張を実施した。その結果、脳波パターンの識別性能は、正解率が36%から70%に向上した。今後は、最新の生成モデルである状態拡散モデルなどの応用も検討し、生体信号の生成モデリングの性能をさらに改善することを目指す。
|