IT technology based research to investigate relationship between patients facial and voice expression and mental status or patient satisfaction

2023 Fiscal Year Research-status Report

• Project/Area Number: 21K07362
• Research Institution: Tokyo Women's Medical University
• Principal Investigator: 竹村 洋典 東京女子医科大学, 医学部, 教授 (00335142)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: 表情 / 音声 / 感情 / 満足 / 非言語コミュニケーション / ICT

Outline of Annual Research Achievements

プライマリ・ケアにおける精神疾患の見逃しは大きな問題である。研究代表者はこれまで言語的コミュニケーションによって効果的な身体疾患の診断に資する面接技法を調査研究した。しかし、言語的コミュニケーションでは抑うつ気分などの感情状態や精神疾患を明らかにするのは困難であることがわかっている。臨床的には表情や音声などの非言語コミュニケーションが、精神疾患の診断に有用と考えらえる。また、患者満足度などは、多くの場合非言語にて伝えられることが多い。
これまでの研究では、表情認識や音声認識の測定精度に限界があったが、現在、NECと共同研究で表情分析、音声分析が可能となっている。本研究では、多くの医療面接の録画データを使用して、患者の表情・音声データなどの特徴量と、質問紙にて測定した患者の抑うつ度、不安度、そして患者満足度などの教師データとの関連を明らかにする。これによって非精神科医においても、ICT／AIを補助的に使用し、不安やうつ病などを認知できるようになると考える。また、患者満足度を認識したり、患者満足度を増加させる医療面接も明らかになる可能性がある。
そのために2021年度はフェーズ１：表情や音声の情報抽出技術の開発のための資料収集、フェーズ２：医療面接のデータ収集行った。2022年度は研究代表者が大学の異動があり、移動先の大学におけるデータ収集のために、研究倫理審査を受けた。また企業（NEC）と共同で、表情や音声の情報抽出技術の開発のためのさらなる作業を行った。新型コロナ禍で、すべての患者がマスクをしていたため、重要な表情の特長量である口角の情報が取れなかったこと、また代表研究者の異動もあり行程がやや遅れたが、2023年度にさらにデータを収集することができた。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

データが集まることにより、患者の表情や音声などの特徴量と質問紙で測定した抑うつ度、不安度、そして患者満足度などの教師データとの関係を明らかにするためのパワーが増大した。しかし、データ収集が非常に遅れて、予定されていたデータ数が集まっていない。主な原因は、１．今回の新型コロナ禍で患者がマスクをしているため、 口角の動きなど感情と関連する部位の測定ができない、２．研究代表者が大学異動に伴い研究が一時ストップした、などがあげられる。ただ、集められたデータの一部を使用して、眉間の距離や下眼瞼と頬の距離だけでもある程度の感情予測が可能である可能性が示されてきた。
また、現在集めているデータは、ビデオカメラを3台増加し、表情のみならず、患者や医師の前身の録画も行っている。これによって手足の動き、体幹の向きや姿勢、頭の向きや視線の向きなども測定できる。これらのデータを追加することで、さらに精度の高いエンジンが構築できる可能性がある。また、表情のみならず、感情を関連する手足の動き、体幹の向き、姿勢、視線のうち、感情と関係する特徴量を明らかにできるかもしれない。
音声についても、スペクトログラムを使用した機械学習を使用することで、より効果的に音声分析をすることが可能となることが分かった。また、ノイズがかなり入ることが問題となって、マイクの指向性を上げる、光学的にノイズキャンセリングをかけるなど、さらにこれを解決する方法を模索することができた。

Strategy for Future Research Activity

引き続き医療面接データの収集を続ける。たとえ患者がマスクをしていても、眉間や下眼瞼の微表情を用いて、マスクを装着していても、ある程度の感情予測が可能と考えがれる。もしも新型コロナ禍がおさまり、多くの患者がマスクを装着しなくてもよくなれば、マスクに覆われている口角部分などを含めた情報を得ていきたい。
これと同時並行で、これまで集められたデータを使用して、ＮＥＣとともに、表情と感情の関係を明らかにする深層学習を使用したエンジンを構築する予定である。また、教師なしデータも含めて表情をクラスタリングして表情特徴量を抽出していきたい。そして感情と関連するような各々の表情特徴量を明らかにし、エンジンを構築する原理を明らかにする。なお、現在集めている画像データには表情のみならず、頭位、視線、手や足の動き、身体の向きや姿勢などを明らかにするカメラも3台取り付けてあり、このデータも使用して、感情と関わる特徴量を明らかにし、また、その関連を明らかにするエンジンを構築してみる。
また、音声分析についても、スペクトログラムを導入し、音声分析からさらに効果的に患者の感情などを読み取れる方略を開発する予定である。さらに可能であれば、カルテの文字データも使用して、ベクトルの数を増加させ、患者の感情や最適な医師の診療を明らかにするための解析を行なってみたい。 以上のように、様々な方法をトライ＆エラーしつつ非言語コミュニケーションと感情との関連の解析をさらに進めていく。

Causes of Carryover

新型コロナ禍で、患者の多くがマスクを装着しており、患者の表情のうち、口角の動きのデータが取れなかったため。また、代表研究者の大学の異動があり、一 時、研究がストップしたため。また、頭位、視線、手足の動き、体幹の向き、姿勢などが、その人の感情（抑うつ、不安、満足度など）に関わっている可能性があり、これらも測定するようになったため、追加のビデオカメラの設置などに時間がかかり、また、それを含めたより多くのデータが必要になった。