Rehabilitation support system for speech disorder by acoustic analysis

2020 Fiscal Year Research-status Report

• Project/Area Number: 19K20751
• Research Institution: Himeji Dokkyo University
• Principal Investigator: 八木 直美 姫路獨協大学, 医療保健学部, 准教授 (40731708)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: 発話障害 / リハビリテーション / 人工知能 / 簡易診断システム

Outline of Annual Research Achievements

聴覚的印象に基づいて行われている発話に関する評価は、対象者の発声発語や構音の状態について簡便かつ定量的に実施することが可能となると臨床上も有用性が高い。しかしながら、言語障害、認知障害等を合併していないかどうかの鑑別診断から始め、必要に応じた種々の検査が実施される。そのため、発話においてどの要素が異常かの重みづけをして総合評価しているのが実情である。そこで、時間軸上の非線形な伸縮できることからヒトの直観により合致する特徴がある、動的時間伸縮法(Dynamic Time Warping：DTW)を用いて信号間の距離を算出し、個人間での時系列データ類似性を検討した。音声データの時系列上の1 点を比較対象とする音声データの時系列上の複数点に対応させることにより、時間軸方向に非線形に伸縮させて比較を行った。同等の順序や特徴をもつ信号であるにも関わらず、セクションの持続時間に差がある場合に、対応する特徴を共通の時間軸上に配置した上で、信号間の類似性を計算することが可能となる。成人である健常者、開鼻声患者、閉鼻声患者の３グループの被験者の単音母音データを対象に本手法を適用した結果、健常者30.5±10.5、開鼻声患者43.5±20.5、閉鼻声患者52.5±23.9の信号のセグメント間距離を特徴量として得られた。健常者において信号類似性は高くなる傾向があることを確認した。また、健常者と閉鼻声患者の間では、p=0.0155の有意差が認められた。これらは健常な音声データと比較して、音声データに異常が見られると周期性の成分が減少することが示唆される。異なる音声データの時系列ペアにも適用でき、ヒトの直観に合致するような新しい手法の有効性を確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究では、非拘束かつ非侵襲な検査機器を用いて、身体機能不全と音響特性分布との関連性を解明し、発話障害を簡易に診断し、リハビリテーション応用までの臨床利用できるシステム開発を目指している。様々な手法で算出した特徴量を用いて、音響解析して得られた詳細結果よりパターンマッチング・ディープラーニング等を適用する準備等を進めている。

Strategy for Future Research Activity

音響解析して得られた周波数領域データである音響特性分布、動的時間伸縮法の特徴量等を用いて、パターンマッチング・ディープラーニング等の人工知能を適用して障害との関連性を解明しながら、障害を選別できるアルゴリズムを構築する。

Causes of Carryover

国内外での学会にて発表する予定であったが、コロナ禍の状況より現地での発表が困難であったため、計画を変更し、音響解析を詳細に行うこととしたため、未使用額が生じた。このため、学会等での発表を次年度以降に行うこととし、未使用額はその経費に充てることとしたい。