研究課題
本年度は、失語症診断用機械学習プログラムを開発した。方法：失語症患者の発話に対し、言語聴覚士による発話評価の自動化のための機械学習プログラムを作成した。データは、患者の発話音声のデータと顔特徴データ、手本となる発話音声のデータ約650個を対象とした。音声データの前処理は、各音声に対して振幅を0~1に正規化し、また患者の発話以外にも雑音などの音も入っていたので有声区間の抽出を行った。音声データの入力方法は、OpenSmileと呼ばれるライブラリを用いて抽出した88個の特徴量を用いた場合と、メルスペクトログラムを用いた場合で実験を行った。顔特徴のデータはRNN（再帰型ニューラルネットワーク）を用いた場合とCNNを用いた場合で結果（適合率と再現率の調和平均であるF値）の高い方を採用した。結果：患者の音声データに対する特徴量を用いた場合は正解率・F値ともに63%となり、さらにお手本の音声データに対する特徴量を用いた場合は正解率・F値ともに56%と下がる結果となった。機械学習には対照学習法を採用し、獲得したエンコーダーを用いて表現を抽出し、〇×への2値分類を行った。メルスペクトログラムを用いた方法では、対照学習を用いて表現の学習をすることで正解率は上がったものの、評価データに対する正解率は上昇しなかった。お手本との比較を行った場合は若干の精度向上が見られたが、有効であったとは言い難い結果となった。まとめ：発話音声のデータのメルスペクトログラム画像や既存のOpenSmileによる音響特徴量は発話評価に有効であるとは言い難い結果であった。また、対照学習によって精度は向上したが、より精密な評価のためには、より大規模なデータセットが必要であると考えられる。F値が70%を超えるようになれば、アプリケーションとして利用することも可能になると思われた。今後は、精度向上に向けた研究を継続する。
令和3年度が最終年度であるため、記入しない。
すべて 2022 2021
すべて 雑誌論文 (4件) (うち査読あり 2件、 オープンアクセス 1件)
Frontiers in Human Neuroscience
巻: 22 ページ: 1-24
10.3389/fnhum.2022.870733
新潟医療福祉学会誌,
巻: 22(2) ページ: 40-48
保健医療学雑誌
巻: 13(2) ページ: 81-92
Clinical Neurology
巻: 61(5) ページ: 297-304
10.5692/clinicalneurol.cn-001466
