• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

IT technology based research to investigate relationship between patients facial and voice expression and mental status or patient satisfaction

Research Project

Project/Area Number 21K07362
Research InstitutionChiba University

Principal Investigator

竹村 洋典  千葉大学, 医学部附属病院, 特任講師 (00335142)

Project Period (FY) 2021-04-01 – 2024-03-31
Keywords表情 / 音声 / 感情 / 満足 / 非言語コミュニケーション / ICT
Outline of Annual Research Achievements

プライマリ・ケアにおける精神疾患の見逃しは大きな問題である。研究代表者はこれまで言語的コミュニケーションによって効果的な身体疾患の診断に資する面接技法を調査研究したが、言語的コミュニケーションでは抑うつ気分などの感情状態や精神疾患を明らかにするのは困難であることがわかっている。臨床的には表情や音声などの非言語コミュニケーションが、精神疾患の診断に有用と考えらえる。患者満足度などは、多くの場合非言語にて伝えられることが多い。これまでの研究では、表情認識や音声認識の精度に限界があったが、現在、IT企業と共同研究で表情分析、音声分析が可能となりつつある。本研究では、多くの医療面接の録画録音データを使用して、患者の表情・音声データなどの特徴量と、質問紙にて測定した患者の抑うつ度、不安度、そして患者満足度などの教師データとの関連を明らかにする。これによって非精神科医においても、ICTを補助的に使用し、不安やうつ病などを認知できるようになると考える。また、患者満足度を認識したり、患者満足度を増加させる医療面接も明らかになる可能性がある。
そのために2021年度はフェーズ1:表情や音声の情報抽出技術の開発、フェーズ2:医療面接のデータ収集行った。新型コロナ禍で、すべての患者がマスクをしていたため、重要な表情の特長量である口角の情報が取れなかったこと、また代表研究者の異動もありブランクがあったことなどて研究がやや遅れたが、2022年度に挽回できると考えている。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

微表情などの情報抽出方法をある程度開発できた。また、音声分析方法の技術的理解が進んだ。そして表情分析や音声分析をするための医療面接のデータ収集をした。これによって患者の表情や音声などの特徴量と質問紙で測定した抑うつ度、不安度、そして患者満足度などの教師データとの関係を明らかにするためのデータが集まった。しかし、データ収集がやや遅れて、予定されていた内容のデータの数集まっていない。主な原因は、1.今回の新型コロナ禍で患者がマスクをしているため、口角の動きなど感情と関連する部位の測定ができない、2.研究代表者が大学異動に伴い研究が一時ストップした、などがあげられる。ただ、眉間の距離や下眼瞼と頬の距離だけでもある程度の感情予測が可能である可能性が示されてきた。音声分析についてもノイズがかなり入ることが問題となって、さらにこれを解決する方法を模索した。

Strategy for Future Research Activity

今後も、医療面接データの収集を続ける。新型コロナ禍がおさまり、多くの患者がマスクを装着しなくてもよくなれば、口角部分などを含めた情報を得ていきたい。また、たとえ患者がマスクをしていても、眉間や下眼瞼の微表情を用いて、マスクを装着していても、ある程度の感情予測が可能と考えがれる。この制度を高めていきたい。また、音声分析を4か所のマイクを使って音を拾うなど、収集する音声の質も向上させる予定である。集学的アプローチによって音声分析をさらに深めていく予定である。
以上のように、様々な方法をトライ&エラーしつつ非言語コミュニケーションと感情との関連の解析をさらに進めていく。

Causes of Carryover

新型コロナ禍で、患者の多くがマスクを装着しており、患者の表情のうち、口角の動きのデータが取れなかったため。また、代表研究者の大学の異動があり、一時、研究がストップしたため。

  • Research Products

    (3 results)

All 2021

All Presentation (3 results)

  • [Presentation] 患者の状態不安を医療者が認知するための患者の表情に関する研究2021

    • Author(s)
      吉永 あみ、竹村 洋典
    • Organizer
      第12回日本プライマリ・ケア連合学会学術大会
  • [Presentation] 診察時における医師のよそ見及び視線の向きが患者満足度に与える影響についての研究2021

    • Author(s)
      齋藤 涼佳、竹村 洋典
    • Organizer
      第12回日本プライマリ・ケア連合学会学術大会
  • [Presentation] 医師のうなずきや表情と患者の医師に対する満足度との関連2021

    • Author(s)
      因間 朱里、竹村 洋典
    • Organizer
      第12回日本プライマリ・ケア連合学会学術大会

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi