2021 Fiscal Year Annual Research Report
双方向性意思伝達支援アプリを応用した革新的コミュニケーション支援システムの開発
| Project/Area Number |
19H01598
|
|---|
| Research Institution | Aichi Gakuin University |
|---|
Principal Investigator |
辰巳 寛 愛知学院大学, 心身科学部, 教授 (70514058)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山本 正彦 愛知学院大学, 心身科学部, 教授 (40378039)
長尾 確 名古屋大学, 情報学研究科, 教授 (70343209)
木村 航 京都先端科学大学, 健康医療学部, 准教授 (70782035)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 言語支援アプリケーション / 失語症 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本年度は、失語症診断用機械学習プログラムを開発した。
方法：失語症患者の発話に対し、言語聴覚士による発話評価の自動化のための機械学習プログラムを作成した。データは、患者の発話音声のデータと顔特徴データ、手本となる発話音声のデータ約650個を対象とした。音声データの前処理は、各音声に対して振幅を0~1に正規化し、また患者の発話以外にも雑音などの音も入っていたので有声区間の抽出を行った。音声データの入力方法は、OpenSmileと呼ばれるライブラリを用いて抽出した88個の特徴量を用いた場合と、メルスペクトログラムを用いた場合で実験を行った。顔特徴のデータはRNN（再帰型ニューラルネットワーク）を用いた場合とCNNを用いた場合で結果（適合率と再現率の調和平均であるF値）の高い方を採用した。
結果：患者の音声データに対する特徴量を用いた場合は正解率・F値ともに63%となり、さらにお手本の音声データに対する特徴量を用いた場合は正解率・F値ともに56%と下がる結果となった。機械学習には対照学習法を採用し、獲得したエンコーダーを用いて表現を抽出し、〇×への2値分類を行った。メルスペクトログラムを用いた方法では、対照学習を用いて表現の学習をすることで正解率は上がったものの、評価データに対する正解率は上昇しなかった。お手本との比較を行った場合は若干の精度向上が見られたが、有効であったとは言い難い結果となった。
まとめ：発話音声のデータのメルスペクトログラム画像や既存のOpenSmileによる音響特徴量は発話評価に有効であるとは言い難い結果であった。また、対照学習によって精度は向上したが、より精密な評価のためには、より大規模なデータセットが必要であると考えられる。F値が70%を超えるようになれば、アプリケーションとして利用することも可能になると思われた。今後は、精度向上に向けた研究を継続する。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
-
[Journal Article] Effects of a new speech support application on intensive speech therapy and changes in functional brain connectivity in patients with poststroke aphasia2022
Author(s)
Katsuno, Yuta; Ueki, Yoshino; Ito, Keiichi; Murakami, Satona; Aoyama, Kiminori; Oishi, Naoya; Kan, Hirohito; Matsukawa, Noriyuki; Nagao, Katashi; Tatsumi, Hiroshi
-
Journal Title
Frontiers in Human Neuroscience
Volume: 22
Pages: 1-24
DOI
Peer Reviewed / Open Access
-
-
-
