• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Utterance training method for maintaining throat function -Evaluation and training program using speech recognition and deep learning -

Research Project

Project/Area Number 20K11894
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionUniversity of Shizuoka

Principal Investigator

松浦 博  静岡県立大学, 経営情報学部, 客員教授 (60451085)

Co-Investigator(Kenkyū-buntansha) 和田 淳一郎  東京医科歯科大学, 大学院医歯学総合研究科, 講師 (20611536)
井本 智明  静岡県立大学, 経営情報学部, 講師 (20749296)
秀島 雅之  東京医科歯科大学, 東京医科歯科大学病院, 講師 (50218723)
六井 淳  静岡県立大学, 経営情報学部, 教授 (70362910)
湯瀬 裕昭  静岡県立大学, 経営情報学部, 教授 (30240162)
Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2023: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2022: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Keywords発話評価 / 咽喉 / 高齢化 / 音声認識 / 音声セグメントラベル / 基本周波数 / オーラル・ディアドコキネシス / 発話訓練 / 音声セグメント / 深層学習 / 発話 / 超高齢化社会
Outline of Research at the Start

咽喉機能は嚥下・呼吸・発話に関わり、生命維持やQOL向上に極めて重要である。咽喉機能の低下によって、誤嚥性肺炎など重篤な状況に陥れかねない。咽喉機能としての発話能力を、一般的な基本周波数F0、音声パワーに加えて、独自開発した音声セグメントラベルを用いて評価する。これらパラメータによって、壮年期から高年期に至る咽喉機能のわずかな加齢変化や改善効果を可視化し、咽喉機能を維持・回復する訓練を効果的に行えるプログラムを開発する。

Outline of Annual Research Achievements

加齢等による咽喉の衰えを発話評価によって早期に検知し、自身の状態を自覚させ適切な対応がなされれば健康維持につながると考えられる。本研究では基本周波数F0や独自開発の音声セグメントラベルから導出したF0変化幅,妥当ラベル,ラベル安定性,F0分散,音声区間長,無音区間長,かすれラベル,濁音ラベルを発話評価パラメータとして用いた。
高齢者(平均年齢81歳)について1年弱の期間を開けて、ATR音素バランス2文とオーラルディアドコキネシス(OD)としてpa,ta,kaと連続発話を3回(それぞれkaga1,kaga2,kaga3とした)延べ155名分収集した。kaga1~3の比較による経時的変化の傾向から、声のかすれの進行が見られたものの、妥当ラベルと音声区間長の改善がみられ、より明瞭に早口で発話できるようになったことが示唆された。年齢と各パラメータとの相関係数は被験文「①あらゆる現実をすべて自分の方へ捻じ曲げたのだ」で妥当ラベルとの相関係数が-0.42、被験文「②冬が長くてつらければ,それだけ喜びも大きいのだ」で妥当ラベルとの相関係数が-0.40、平均との相関係数で-0.41と負の相関が高かった。
一方、一般的に口腔の発話検査に使われるODでは年齢とtaの回数との相関係数が-0.33となったが、提案した発話評価パラメータより負の相関は低いことが分かった。したがって、kaga1~3のデータから発話評価パラメータによって発話の悪化等について観測できることが示唆された。
なお、上記の相関係数の導出においてはp<0.001であり、統計的な有意差が確認できた。また、話者1名ではあるが、5年間にわたって発話データを観測することによって、単語発話および発話トレーニングにより発話の改善と維持が可能であることが分かった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度(2020年度)はコロナのためデータ収集ができなかった。しかし、初回データ収集の2022年2月と3月,2回目の2022年11月、3回目の2023年10月と、加賀市役所の協力をいただき、4か所の地域おたっしゃサークルにて実施することができた。収集データを分析することによって得られた知見をまとめ、2024年3月に開催された情報処理学会第29回高齢社会デザイン研究発表会にて発表した。

Strategy for Future Research Activity

データ収集に協力いただいたおたっしゃサークルの被験者に全体所見及び個々の発話状態のフィードバックを行うとともに、感想・意見を伺いたい。また、話者1名の発話データではあるが、5年間にわたって観測したデータについて、継続して評価を実施する。また、佐藤慶子氏の「声ぢからトレーニング」による発話の改善効果について発話パラメータの変化によって評価したい。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (7 results)

All 2024 2023 2021 Other

All Presentation (3 results) Remarks (4 results)

  • [Presentation] 音声セグメントと基本周波数から導出した発話評価パラメータによる発話の経時変化の観察2024

    • Author(s)
      松浦 博、井本智明、湯瀬裕昭、和田淳一郎、秀島雅之
    • Organizer
      情報処理学会高齢社会デザイン研究会第29回研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 音声セグメントと基本周波数から導出した発話評価パラメータとオーラルディアドコキネシスとの比較2023

    • Author(s)
      松浦 博,井本智明,湯瀬裕昭,和田淳一郎,秀島雅之
    • Organizer
      情報処理学会ASD研究会
    • Related Report
      2022 Research-status Report
  • [Presentation] 加齢等による発話への影響の深層学習とデータ拡張を用いた評価2021

    • Author(s)
      松浦 博 山下拓巳 井本智明 和田淳一郎 秀島雅之
    • Organizer
      情報処理学会ASD研究会第20回研究発表会
    • Related Report
      2020 Research-status Report
  • [Remarks] オンライン学び交流会シリーズ版①(松浦博) ・事前公開映像「音声について学ぼう」

    • URL

      https://www.youtube.com/watch?v=PkTQI6Gp01Q

    • Related Report
      2022 Research-status Report
  • [Remarks] オンライン学び交流会シリーズ版①(松浦博) ・講演映像「音声で“のどの衰え”を早期に把握!」

    • URL

      https://www.youtube.com/watch?v=3MBtLXMHDkU

    • Related Report
      2022 Research-status Report
  • [Remarks] 「音声で“のどの衰え”を早期に把握!」(みんなの認知症情報学会 オンライン学び交流会の動画)

    • URL

      https://www.youtube.com/watch?v=3MBtLXMHDkU

    • Related Report
      2021 Research-status Report
  • [Remarks] 「音声について学ぼう」(みんなの認知症情報学会 オンライン学び交流会の事前映像の動画)

    • URL

      https://www.youtube.com/watch?v=PkTQI6Gp01Q

    • Related Report
      2021 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi