精神衛生を支援する感情認識システムを実現するための機械学習用データの生成方法

2021 Fiscal Year Research-status Report

• Project/Area Number: 21K12788
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 小林 順 九州工業大学, 大学院情報工学研究院, 准教授 (50315173)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 感情認識 / 生体信号 / 機械学習 / 生成モデル / バーチャルリアリティ

Outline of Annual Research Achievements

生体信号から感情を認識するシステムを機械学習で構築するためには、学習データとして被験者の感情を反映した生体信号が大量に必要である。その学習データは何らかの方法、たとえば画像や動画を提示して、ある特定の感情を被験者に喚起させる感情喚起実験で収集する。しかし、臨場感が乏しい画像や動画では被験者の感情を喚起できない懸念がある。また、大量の生体信号を計測するために被験者を長時間拘束することは現実的ではない。そこで本研究では、優れた臨場感と没入感を有するVRシーンを用いて感情喚起実験を行う。また、その感情喚起実験で収集した数少ない生体信号を用いて生成モデルを構築し（生成モデリング）、そのモデルから擬似的な生体信号を作り出して学習用データを拡張する。
2021年度は、VRシーンを用いて感情喚起実験するための生体信号収集システムを試作した。このシステムはマイコンモジュールのM5Stack、被験者の耳朶に取り付ける心拍センサ、被験者の顎付近に設置する二酸化炭素センサ、および指先に取り付ける皮膚電気抵抗センサと温度センサからなる。すべてのセンサはM5Stackに接続されており、そこに生体信号のデータが送信される。また、送信されたデータはM5Stack内のSDカードに記録される。この生体信号収集システムは、VRヘッドマウントディスプレイ（HMD）をかぶり、VRコントローラを手に持った被験者に装着できる。
生成モデリングによるデータ拡張については、被験者から取得済みの脳波スペクトログラムに対して、VAE（変分オートエンコーダ）およびWGAN-GP（敵対的生成ネットワークの一種）による生成モデリングを行った。その結果、WGAN-GPで構築した生成モデルを用いて学習データを増やすことで、6層のCNN（畳み込みニューラルネットワーク）による脳波パターン識別の正解率が36%から70%に向上した。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

機械学習用データを収集する感情喚起実験において、被験者はVR HMDをかぶり、手にはVRコントローラを持ってVRシーンを体験する。その状態で被験者の生体信号を計測する生体信号収集システムを試作し、四人の被験者でその動作を確認した。その結果、異常値の発生が頻出し、満足できる結果は得られなかった。心拍センサは装着しやすさを考慮して、被験者の胸に貼り付けるものから、耳朶に取り付けるものに変更した。皮膚電気抵抗センサと皮膚温度センサは従来どおり、左手の薬指と小指に装着した。呼吸数はこれまで腹部の動きから計数していたが、被験者の顎付近に設置した二酸化炭素センサで計数することに変更した。しかし、口元からセンサまでの距離が遠いためか、呼吸数を計数できるほどの二酸化炭素の変化を計測できなかった。
VR HMDには、PCを必要としないスタンドアロン型のOculus Quest 2を採用した。つまり、感情喚起実験にPCは必要なく、昨今の感染症問題を考慮して、被験者自身が自宅で感情喚起実験できる構成とした。
生体信号の生成モデリングについては、被験者から取得済みの脳波スペクトログラム（4クラス×900個で合計3600個）のデータ（以下、元データ）に対して、VAEとWGAN-GPを生成モデルとして採用した。VAEは学習の時点でスペクトログラムの再現が思わしくなかったためそこで中断した。WGAN-GPでは、モデリングした生成器で擬似的なスペクトログラム（以下、擬似データ）を3600個生成した。そして、元データの2520個（70%）と擬似データ3600個を訓練用データ、元データの720個（20%）を検証用データ、元データの360個（10%）をテスト用データとして、6層のCNNを用いて4クラス分類器を構築した。その結果、正解率が36%から70%に、AUCが0.62から0.91に向上した。

Strategy for Future Research Activity

生体信号収集システムについては、四人の被験者による動作確認実験において異常値の発生が頻出しており、機械学習に利用できるデータが収集できていないため、センサの装着方法を見直す。二酸化炭素センサによる呼吸数の計数については、コロナ禍でマスクをつけることに慣れたことに乗じて、マスクを用いた呼気の収集方法を提案し、呼吸数計数を改善する。また、被験者自身がVR HMDを装着した状態で生体センサの計測状況を確認できるシステムを構築する。このシステムにより、被験者自身による自宅での感情喚起実験を容易にする。
生成モデリングについては、脳波スペクトログラムに対してWGAN-GPで生成した擬似データを用いてデータ拡張し、正解率が36%から70%と向上した。しかし、WGAN-GP以外の生成モデリング手法を探索してさらに正解率の改善を目指す。また、生成された擬似的な生体信号を評価する分類器についても、画像認識分野での成果に基づいた分類器を探索する。これらの探索には計算時間を要するため、機械学習用計算機を導入する。
最後に、2021年度に実施できなかった感情喚起用VRシーンの作成を推進する。これまでに、Relaxed、Happy、Depressed、Distressed、HorribleのVRシーンを作成したが、設計者が期待する感情と、実際に喚起される感情が合っていないことが多い。そこで、喚起する感情を3種類程度に絞り、Oculus Quest 2をVR HMDとして使用し、ゲーム開発環境Unityを用いて感情喚起用VRシーンを作成する。

Causes of Carryover

電子部品やセンサ類の価格が予定よりも少額であったため。消耗品や被験者への謝金として、次年度使用する。