2022 Fiscal Year Research-status Report
IT technology based research to investigate relationship between patients facial and voice expression and mental status or patient satisfaction
| Project/Area Number |
21K07362
|
|---|
| Research Institution | Tokyo Women's Medical University |
|---|
Principal Investigator |
竹村 洋典 東京女子医科大学, 医学部, 教授 (00335142)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 表情 / 音声 / 感情 / 満足 / 非言語コミュニケーション / ICT |
|---|
| Outline of Annual Research Achievements |
プライマリ・ケアにおける精神疾患の見逃しは大きな問題である。研究代表者はこれまで言語的コミュニケーションによって効果的な身体疾患の診断に資する面接技法を調査研究したが、言語的コミュニケーションでは抑うつ気分などの感情状態や精神疾患を明らかにするのは困難であることがわかっている。臨床的には表情や音声などの非言語コミュニケーションが、精神疾患の診断に有用と考えらえる。患者満足度などは、多くの場合非言語にて伝えられることが多い。これまでの研究では、表情認識や音声認識の精度に限界があったが、現在、ＩＴ企業と共同研究で表情分析、音声分析が可能となりつつある。本研究では、多くの医療面接の録画録音データを使用して、患者の表情・音声データなどの特徴量と、質問紙にて測定した患者の抑うつ度、不安度、そして患者満足度などの教師データとの関連を明らかにする。これによって非精神科医においても、ICTを補助的に使用し、不安やうつ病などを認知できるようになると考える。また、患者満足度を認識したり、患者満足度を増加させる医療面接も明らかになる可能性がある。
そのために2021年度はフェーズ１：表情や音声の情報抽出技術の開発、フェーズ２：医療面接のデータ収集行った。2022年度は研究代表者が大学の異動があり、移動先の大学におけるデータ収集のために、研究倫理審査を受けた。また大手企業と共同で、表情や音声の情報抽出技術の開発のためのさらなる開発（さらなる特徴量を得るためのクラスタリングなど）を行った。新型コロナ禍で、すべての患者がマスクをしていたため、重要な表情の特長量である口角の情報が取れなかったこと、また代表研究者の異動もありブランクがあったことなどて研究がやや遅れているが、2023年度に挽回できると考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
表情においてさらなる特徴量を明らかにすることができた。また、音声についても、スペクトログラムを使用した機械学習を使用することで、より効果的に音声分析をすることが可能となった。
また、以前収集したデータを、オプトアウトなど研究倫理的配慮をすることで、さらに使用できるようになり、解析のためのデータ数が増えた。これにより、患者の表情や音声などの特徴量と質問紙で測定した抑うつ度、不安度、そして患者満足度などの教師データとの関係を明らかにするためのパワーが増大した。
しかし、データ収集が非常に遅れて、予定されていた内容のデータの数集まっていない。主な原因は、１．今回の新型コロナ禍で患者がマスクをしているため、口角の動きなど感情と関連する部位の測定ができない、２．研究代表者が大学異動に伴い研究が一時ストップした、などがあげられる。ただ、眉間の距離や下眼瞼と頬の距離だけでもある程度の感情予測が可能である可能性が示されてきた。音声分析についてもノイズがかなり入ることが問題となって、マイクの指向性を上げる、光学的にノイズキャンセリングをかけるなど、さらにこれを解決する方法を模索することができた。
|
| Strategy for Future Research Activity |
移動先の大学においても医療面接データの収集を続ける。新型コロナ禍がおさまり、多くの患者がマスクを装着しなくてもよくなれば、口角部分などを含めた情報を得ていきたい。また、たとえ患者がマスクをしていても、眉間や下眼瞼の微表情を用いて、マスクを装着していても、ある程度の感情予測が可能と考えがれる。また、音声分析についても、スペクトログラムを導入し、音声分析からさらに効果的に患者の感情などを読み取れる方略を開発する予定である。さらに音声分析のデータや、カルテの文字データも使用して、ベクトルの数を増加させ、患者の感情や最適な医師の診療を明らかにするための解析を行う。
以上のように、様々な方法をトライ＆エラーしつつ非言語コミュニケーションと感情との関連の解析をさらに進めていく。
|
| Causes of Carryover |
新型コロナ禍で、患者の多くがマスクを装着しており、患者の表情のうち、口角の動きのデータが取れなかったため。また、代表研究者の大学の異動があり、一時、研究がストップしたため。
|
