2022 Fiscal Year Annual Research Report

Symptom discrimination and outcome prediction by the application of artificial intelligence on acoustic information

Planned Research

Project Area	Ultra-High-Definition Mental Health Care by Digital-Human Integration: New Strategy for utilizing Multi-Modal, Big, and Precision Data
Project/Area Number	21H05067
Research Institution	National Center of Neurology and Psychiatry
Principal Investigator	伊藤正哉国立研究開発法人国立精神・神経医療研究センター, 認知行動療法センター, 部長 (20510382)
Co-Investigator(Kenkyū-buntansha)	村中誠司大阪大学, 大学院人間科学研究科, 助教 (90878349)
Project Period (FY)	2021-08-23 – 2024-03-31
Keywords	音響 / 音声 / うつ / 人工知能 / 特徴量 / GRID-HAMD / 自殺
Outline of Annual Research Achievements	本研究は、精神症状識別モデルにおいて精度向上に寄与すると考えられる音響的な特徴量を選定し、機械学習により精神症状を識別することが可能かを探索的に検討することが目標である。具体的には、GRID-HAMDの収録音声から抑うつ症状を推定することと、抑うつ症状の推定に寄与する音響特徴を特定することを目的とした。今年度は、臨床試験に参加した成人患者及びその面接者97名分の治療前・中・後・4ヶ月後追跡時に測定した症状評価時の音声データ（1収録ごとに20－30分）を対象として解析を行った。特徴量を算出し、VADを行ってからLightGBMで抑うつ症状の有無を推定し、推定に寄与する特徴量をLIME とSHAPで評価した。データセットは、年齢、性別、HAMDスコアを使用し、階層化サンプリングにより学習データ77名、テストデータ20名に分割した。その結果、HAMD 3 (自殺)の発話区間の特徴量とトータルHAMDスコアとの相関が他発話区間に比べて高い値を示した（最大で0.44。他区間では0.25程度）。モデル評価においても、HAMD 3区間を使った場合が最も良い性能を示した。LightGBMを使った分類の結果、すべての特徴量を使った場合が最も高性能であった。SHAPによって確認したところ、pitch salienceやspectral fluxなどの周波数に関する特徴量が上位にあった。これらの結果は先行研究で指摘されている特徴量から一部解釈可能ではあるものの、その機序に関しては検討の余地が大きいと考えられた。今後は、心理士が診断面接の中で評価する「音としての(主観的な)特徴」をアノテーションするなど、結果を説明可能なかたちで解釈するための検討が必要であると考えられた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 昨年度は少数のデータによる探索的な解析であったが、本年度は想定していたデータセットを用いて、順調に解析を進めることができた。
Strategy for Future Research Activity	本年度の経験を踏まえ、次年度は“うつ症状“という多義的な臨床症状を予測するのではなく、セラピストや専門の臨床査定者が意義を持つとみなす音声特徴を特定してそれを識別したり、より構造が限定されている心理療法の一場面(例:数分間のセッション中の行為手続きが同じとなるモジュール)に焦点を当てた検討が必要だと考えられる。次年度は、これまでの成果をまとめることが最優先であるが、それに加えて、その経験をもとにしたより解釈及び応用可能性の高い成果が得られる課題を特定し、推進させる。また、既存の試みの再現可能性検証を見据えて、多チャンネルマイクによる症状評価面接の収録を継続し、解析対象データを蓄積していく。