• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Symptom discrimination and outcome prediction by the application of artificial intelligence on acoustic information

Planned Research

Project AreaUltra-High-Definition Mental Health Care by Digital-Human Integration: New Strategy for utilizing Multi-Modal, Big, and Precision Data
Project/Area Number 21H05067
Research Category

Grant-in-Aid for Transformative Research Areas (B)

Allocation TypeSingle-year Grants
Review Section Transformative Research Areas, Section (I)
Research InstitutionNational Center of Neurology and Psychiatry

Principal Investigator

伊藤 正哉  国立研究開発法人国立精神・神経医療研究センター, 認知行動療法センター, 部長 (20510382)

Co-Investigator(Kenkyū-buntansha) 村中 誠司  大阪大学, 大学院人間科学研究科, 助教 (90878349)
Project Period (FY) 2021-08-23 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥27,300,000 (Direct Cost: ¥21,000,000、Indirect Cost: ¥6,300,000)
Fiscal Year 2023: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000)
Fiscal Year 2022: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000)
Fiscal Year 2021: ¥9,100,000 (Direct Cost: ¥7,000,000、Indirect Cost: ¥2,100,000)
Keywords音声 / 音響 / うつ / 人工知能 / 心理療法 / 特徴量 / GRID-HAMD / 自殺 / 識別 / 音響バイオマーカー / 音響特徴量 / 予測
Outline of Research at the Start

本計画研究では、うつ病と不安症に対する認知行動療法の臨床試験で集積されてきた症状評価等の音声記録に対して、データ駆動型の人工知能技術を用いてその特徴量を抽出し、患者の精神症状識別を行うことを目的とする。本研究により、音声情報のみで精神症状の程度を識別できるようになるエンジンを開発することを目標としている。

Outline of Annual Research Achievements

本研究は、精神症状識別モデルにおいて精度向上に寄与すると考えられる音響的な特徴量を選定し、機械学習により精神症状を識別することが可能かを探索的に検討することが目標である。具体的には、GRID-HAMDの収録音声から抑うつ症状を推定することと、抑うつ症状の推定に寄与する音響特徴を特定することを目的とした。今年度は、臨床試験に参加した成人患者及びその面接者97名分の治療前・中・後・4ヶ月後追跡時に測定した症状評価時の音声データ(1収録ごとに20-30分)を対象として解析を行った。特徴量を算出し、VADを行ってからLightGBMで抑うつ症状の有無を推定し、推定に寄与する特徴量をLIME とSHAPで評価した。データセットは、年齢、性別、HAMDスコアを使用し、階層化サンプリングにより学習データ77名、テストデータ20名に分割した。その結果、HAMD 3 (自殺)の発話区間の特徴量とトータルHAMDスコアとの相関が他発話区間に比べて高い値を示した(最大で0.44。他区間では0.25程度)。モデル評価においても、HAMD 3区間を使った場合が最も良い性能を示した。LightGBMを使った分類の結果、すべての特徴量を使った場合が最も高性能であった。SHAPによって確認したところ、pitch salienceやspectral fluxなどの周波数に関する特徴量が上位にあった。これらの結果は先行研究で指摘されている特徴量から一部解釈可能ではあるものの、その機序に関しては検討の余地が大きいと考えられた。今後は、心理士が診断面接の中で評価する「音としての(主観的な)特徴」をアノテーションするなど、結果を説明可能なかたちで解釈するための検討が必要であると考えられた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

昨年度は少数のデータによる探索的な解析であったが、本年度は想定していたデータセットを用いて、順調に解析を進めることができた。

Strategy for Future Research Activity

本年度の経験を踏まえ、次年度は“うつ症状“という多義的な臨床症状を予測するのではなく、セラピスト や専門の臨床査定者が意義を持つとみなす音声特徴を特定してそれを識別したり、より構造が限定されている心理療法の一場面(例:数分間の セッション中の行為手続きが同じとなるモジュール)に焦点を当てた検討が必要だと考えられる。次年度は、これまでの成果をまとめることが最優先であるが、それに加えて、その経験をもとにしたより解釈及び応用可能性の高い成果が得られる課題を特定し、推進させる。また、既存の試みの再現可能性検 証を見据えて、多チャンネルマイクによる症状評価面接の収録を継続し、解析対象データを蓄積していく。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (5 results)

All 2022 Other

All Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (2 results) Remarks (1 results)

  • [Journal Article] Efficacy of the unified protocol for transdiagnostic cognitive-behavioral treatment for depressive and anxiety disorders: a randomized controlled trial2022

    • Author(s)
      Ito M, Horikoshi M, Kato N, Oe Y, Fujisato H, Yamaguchi K, Nakajima S, Miyamae M, Toyota A, Okumura Y, Takebayashi Y
    • Journal Title

      Psychological Medicine

      Volume: in press Issue: 7 Pages: 1-12

    • DOI

      10.1017/s0033291721005067

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] デジタル-人間融合による精神の超高精細ケア:人工知能技術による心理療法の革新へ2022

    • Author(s)
      伊藤正哉、西村拓一、竹林由武、樫原潤、村中誠司、古徳純一、菅原大地、国里愛彦、重枝裕子、大井 瞳、豊田彩花、杉田創、矢部魁―、辻拓真、押山千秋、青木俊太郎、二瓶正登、西村悟史、中島俊
    • Journal Title

      医療の広場

      Volume: in press

    • Related Report
      2021 Annual Research Report
  • [Presentation] 認知行動療法と臨床査定で取得される多種データへの人工知能技術の適用-精神状態の識別及び治療アウトカムの予測-2022

    • Author(s)
      重枝裕子, 西村拓一, 竹林由武, 樫原 潤, 村中誠司, 中島 俊, 青木俊太郎, 押山千秋, 国里愛彦, 菅原大地, 辻 拓将, 古徳純一, 大井 瞳, 矢部魁一, 杉田 創, 加藤典子, 伊藤正哉
    • Organizer
      電子情報通信学会 人工知能と知識処理研究会「コンテキストを意識した知識の利用」および一般 ,2022/12/21,福岡,口頭.
    • Related Report
      2022 Annual Research Report
  • [Presentation] デジタル-人間融合による精神の超高精細ケア:多種・多量・精密データ戦略の構築2022

    • Author(s)
      伊藤正哉・西村拓一・中島俊・竹林由武・古徳純一・村中誠司・樫原潤・国里愛彦・菅原大地
    • Organizer
      2022年度人工知能学会全国大会(第36回),京都,20220617,口頭.
    • Related Report
      2022 Annual Research Report
  • [Remarks] “音”に含まれる豊かな情報から超高精細ケアを

    • URL

      https://uhd-mental-health-care.jp/research/sound/

    • Related Report
      2022 Annual Research Report 2021 Annual Research Report

URL: 

Published: 2021-10-22   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi