Mixed Realityデバイスを用いた音声治療支援機器開発基礎技術の研究

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K08984
• Research Institution: Kyoto University
• Principal Investigator: 藤村 真太郎 京都大学, 医学研究科, 特定病院助教 (50815751)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 音声信号処理 / 高調波

Outline of Annual Research Achievements

本研究の目的は、発声メカニズムと独自の技術に基づく音響学的分析を包括的に評価することで科学的に音声治療を定式化し、これに基づく音声治療のエビデンスを創出、Mixed Reality技術を用いた治療支援機器開発につながる基礎的技術を確立することにある。
上記の基盤となる技術として、音声信号をもとに音声高調波の構造(声帯振動様式を直接反映した音声の特徴)を定量化する指標 Harmonics to Fundamental Ratio: HFRを算出するアルゴリズムを開発している。本アルゴリズムでは100msec程度の音声サンプルを用いて指標値を算出するため、時間解像度の高い解析が可能であることもその特徴の一つである。
この指標の有用性を測るべく、まず正常発声の母音および、各種声区による違い、病的音声における値の分布を調査した結果、声区や音声障害のメカニズムの違いにより、HFRが特徴的な傾向を示すことが確認できたため、結果を論文にまとめ投稿中である。
また既存の音響分析指標であるHNRとHFRを同時に算出し、これらを組み合わせて可視化するプログラムをAndroid スマートフォン上で実装した。このプログラムを利用して実際の音声リハビリテーションを可視化することにより、プロトコールの検討を開始している。上記と並行して、今後これらの訓練プロトコールを用いて自律的な音声リハビリテーションの実施が行えるよう、Mixed Realityデバイスへのプログラム実装を開始している。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

基盤技術として、音声信号をもとに音声高調波の構造(声帯振動様式を直接反映した音声の特徴)を定量化する指標 Harmonics to Fundamental Ratio: HFRを算出するアルゴリズムを開発した。また既存の音響分析指標であるHNRとHFRを同時に算出し、これらを組み合わせて可視化するプログラムをAndroid スマートフォン上で実装した。このプログラムを用いて実際の音声リハビリテーション訓練プロトコールの解析を開始している。

Strategy for Future Research Activity

本研究により開発したプログラムを用いて、現在当施設で実施されている音声治療のプロトコールを中心に、各種音声リハビリテーション訓練法の定量化、定式化を進める。またこれまでに計測したHFRの正常音声、病的音声における基準値等を参考とし、本指標をガイドとして用いる改良訓練プロトコールを作成する。
上記と並行して、これらの訓練プロトコールを用いて自律的な音声リハビリテーションの実施が行えるよう、Mixed Realityデバイスへのプログラム実装も進めていく。

Causes of Carryover

R5年度に行った研究内容(HFR計測アルゴリズムの開発および、音声リハビリテーション訓練プロトコールの検討など)については、研究代表者がすでに所有しているワークステーションやスマートフォン等の機器を利用して実験を遂行した。
当初R5年度予算として計上していたMixed Realityデバイスの購入については、R5年度に行った研究結果をもとに要求仕様を確定したうえで、デバイスを選定・購入し、実装を開始するのが適切であると考えたため、R6年度に繰り越したうえで必要な機器を購入する予定である。