精神衛生を支援する感情認識システムを実現するための機械学習用データの生成方法

• Project/Area Number: 21K12788
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 90150:Medical assistive technology-related
• Research Institution: Kyushu Institute of Technology
• Principal Investigator: 小林 順 九州工業大学, 大学院情報工学研究院, 准教授 (50315173)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000); Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
• Keywords: 感情認識 / 生体信号 / 機械学習 / 生成モデル / バーチャルリアリティ

Outline of Research at the Start

精神衛生を支援する感情認識システムを機械学習で実現するためには、ユーザーの感情を正確に反映した学習データを大量に用意する必要がある。従来は学習データを収集するために、画像や動画を提示して被験者の感情を喚起していた。しかし、期待した感情が喚起できるとは限らないし、被験者に精神的な苦痛を与えてしまう可能性もある。本研究では、VR技術を活用して期待通りの感情を被験者に喚起することで、機械学習に必要なデータ（生体信号）を収集する。また、収集したデータに対して機械学習の技術を適用し、擬似的な生体信号を生成する。そしてこれらの手法で学習データを大量に用意し、高い認識率を持つ感情認識システムを実現する。

Outline of Annual Research Achievements

機械学習による感情認識システムの構築には、被験者の感情を反映した大量の生体信号データが学習データとして必要不可欠である。通常これらのデータは画像や動画を用いた感情喚起実験によって収集される。しかしながら、画像や動画による実験では被験者に十分な臨場感や没入感を与えられず、所定の感情を適切に喚起できない恐れがある。加えて、大量の生体信号を計測するには、被験者を長時間拘束する必要があり、機械学習による感情認識システムの実装を困難にする。そこで本研究では、VR(仮想現実)技術によるリアルな臨場感と高い没入感を活かした感情喚起実験の実施を計画した。さらに、そこで収集した比較的少量の生体信号データから生成モデルを構築し、擬似的な生体信号データを生成することで、学習用データの拡張を図った。2021年度は、VRシーンを活用した感情喚起実験のための生体信号収集システムのプロトタイプを試作した。本システムは、マイクロコンピューターモジュールM5Stack、心拍センサー、二酸化炭素センサー、皮膚電気抵抗センサー、温度センサーから構成され、センサーからM5Stackへデータが送信され、SDカードに記録される。被験者はVRヘッドマウントディスプレイとコントローラを装着して実験を行う。また並行して、被験者から取得済みの脳波スペクトログラムデータに対し、VAEおよびWGAN-GPによる生成モデリングを適用した。その結果、WGAN-GPで構築した生成モデルから作り出したデータを学習に用いることで、6層CNNによる脳波パターン識別の正解率が36%から70%へと大幅に向上することが確認された。2022年度、2023年度は研究代表者の都合により感情喚起実験の実施が難しくなったため、研究の方針を切り替えた。具体的には、オープンデータを使用した生体信号の生成 モデリングに焦点を当てた。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

感情喚起実験においてVR(仮想現実)環境を活用するため、被験者にVRヘッドマウントディスプレイ(HMD)およびVRコントローラを装着させ、仮想空間の体験を行わせた。その際の生体信号を計測するシステムを新たに試作し、4名の被験者による動作確認を実施したが、データに多数の異常値が発生し、適切な収集ができない状況にあった。そこで各センサーの改良を行った。心拍センサについては、装着の容易さから被験者の耳たぶへの取り付けに変更した。皮膚電気抵抗センサおよび皮膚温度センサは、従来どおり左手の薬指および小指に装着した。呼吸数計測については、これまでの腹部動きによる方式から、被験者の顎付近への二酸化炭素センサ設置による方式に変更したが、口元からのセンサ離隔により十分な呼吸数の検知は困難であった。VRHMDとしては、PCを必要としないスタンドアロン型OculusQuest2を採用した。これにより感情喚起実験にPCを介さずに実施でき、被験者の自宅等での実験環境を整備できた。 収集した脳波データからの感情識別モデル構築のため、VAEおよびWGAN-GPによる生成モデリングを試みた。被験者から得た4クラス合計3600個の脳波スペクトログラムデータを元に、VAEでは良好な結果が得られなかったものの、WGAN-GPでは3600個の擬似スペクトログラムデータを生成することができた。この生成データと元データを組み合わせ、元データの70%と全生成データを訓練用、20%を検証用、10%をテスト用としてデータセットを構築した。これを用いて6層のCNNによる4クラス分類モデルを構築したところ、従来の正解率36%から70%へ、AUCが0.62から0.91へと大幅な性能向上を確認した。

Strategy for Future Research Activity

当初の研究計画においては感情喚起実験の実施を通じた生体信号データの収集を企図していたが、研究代表者のやむを得ない事情により、同実験の実施が困難となった。このため、研究の方向性を転換し、オープンデータを活用した生体信号の生成モデリング研究に重点を置くこととした。これまでの取り組みとして、脳波スペクトログラムデータに対し敵対的生成ネットワークの一種であるWGAN-GPを適用した生成モデリングを行った。その結果、生成した擬似データを学習データに加えることで、6層CNNによる脳波パターン識別の正解率が36%から70%へと向上することを確認した。今後は状態拡散モデルの適用を視野に入れるなど、より高性能な生体信号データの生成モデリングの実現を目指す。生成モデリングの高度化を通じ、限られた実データからの学習データ拡張による高精度生体信号解析モデルの構築を実現する。