2021 Fiscal Year Annual Research Report
Development of visual feedback speech training method based on real-time audio visualization system in cleft palate
| Project/Area Number |
20H03891
|
|---|
| Research Institution | Kagoshima University |
|---|
Principal Investigator |
中村 典史 鹿児島大学, 医歯学域歯学系, 教授 (60217875)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石畑 清秀 鹿児島大学, 医歯学域鹿児島大学病院, 講師 (10437957)
手塚 征宏 鹿児島大学, 医歯学域歯学系, 助教 (50759777)
小倉 道広 鹿児島大学, 鹿児島大学病院, 言語聴覚士 (60867745)
坂田 聡 熊本大学, 大学院先端科学研究部(工), 助教 (80336205)
上栗 裕平 鹿児島大学, 鹿児島大学病院, 医員 (70911949)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 口蓋裂 / ニューラルネットワーク / 構音異常 / 音声可視化 |
|---|
| Outline of Annual Research Achievements |
本研究では、ニューラルネットワークを用いた構音特徴分析に基づいて、リアルタイム音声可視化表示、ならびに舌位置の可視化によって、視覚的フィードバックを可能にする言語訓練法を開発し、口蓋裂患者への臨床応用の実現化を目指すものである。今までにこのニューラルネットワークを口蓋裂患者の音声に適用し、瘻孔閉鎖術前の構音点の異常を客観的に表示した。対象は、口蓋裂異常構音に影響する口蓋瘻孔を有する患者とし、瘻孔閉鎖術後に鼻咽腔閉鎖機能が改善するにつれて、異常構音が明らかに減少し、健常者の構音と近似していくことが明らかになった。また、これらのNN解析の結果は、複数の言語聴覚士の聴覚判定とほぼ相関するもので、口蓋裂言語の可視化表示が信頼できるものであることが明らかになった。
本研究では、母音を色彩で、子音を縞模様などのテクスチャーといった音声の可視化と実際の舌位置の可視化を組み合わせて、小児でも判別しやすい視覚的なフィードバック方法を考案することが最終目的であり、本研究期間では、保存してきた健常児、異常構音者の経時的な音声データを用いて、鼻咽腔閉鎖機能、構音点および構音様式のリアルタイム表示を可能にする構音訓練支援ソフトウェアの開発をおこなってきた。また、タクタイルセンサーを小児の口蓋に適用して舌接触圧測定による舌運動分析を行うことを検討したが、シートは柔らかさに欠け、シートの浮き上がりによって構音点の正確な描出が困難なために、代替え方法としてエレクトリックパラトグラムを用いた舌運動解析を行うこととした。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では、新規NNシステムを用いた構音特徴分析に基づいて、リアルタイム音声可視化表示、ならびに舌位置の可視化によって、視覚的フィードバックを可能にする言語訓練法を開発し、口蓋裂患者への臨床応用の実現化を目指すものである。今までにこのNNシステムを口蓋裂患者の音声に適用し、瘻孔閉鎖術前の構音点の異常を客観的に表示した。対象は、口蓋裂異常構音に影響する口蓋瘻孔を有する患者とし、瘻孔閉鎖術後に鼻咽腔閉鎖機能が改善するにつれて、異常構音が明らかに減少し、健常者の構音と近似していくことが明らかになった。また、これらのNN解析の結果は、複数の言語聴覚士の聴覚判定とほぼ相関するもので、口蓋裂言語の可視化表示が信頼できるものであることが明らかになった。これらの口蓋瘻孔閉鎖前後の言語の変化、ならびに新規NNシステムによる音声特性解析による構音点の変化の視覚的描出については国際誌に論文を投稿し、現在、査読を受けている最中である。
本研究では、母音を色彩で、子音を縞模様などのテクスチャーといった音声の可視化と実際の舌位置の可視化を組み合わせて、小児でも判別しやすい視覚的なフィードバック方法を考案することが最終目的であり、本研究期間では、保存してきた健常児、異常構音者の経時的な音声データを用いて、鼻咽腔閉鎖機能、構音点および構音様式のリアルタイム表示を可能にする構音訓練支援ソフトウェアの開発をおこなってきた。また、タクタイルセンサーを小児の口蓋に適用して舌接触圧測定による舌運動分析を行うことを検討したが、シートは柔らかさに欠け、シートの浮き上がりによって構音点の正確な描出が困難なために、代替え方法としてエレクトリックパラトグラムを用いた舌運動解析を行うことを検討している。
|
| Strategy for Future Research Activity |
鹿児島大学病院で治療している口蓋裂患者のさまざまな異常構音の経時的な音声データならびに言語聴覚士による音声評価結果を継続的に蓄積する。NNシステムを用いた音声特徴解析によって、鼻咽腔閉鎖機能、構音点および構音様式のリアルタイム表示を可能にする構音訓練支援ソフトウェアの開発について今後も継続し、口蓋裂では音声の後方化が特に問題となることから、口蓋-咽頭部の矢状断面画像で構音点をリアルタイムに描出できる構音訓練支援ツールのソフトウェアの開発を行う。さらに、構音訓練支援ツールの言語訓練の場での試行を繰り返すことにより、患者の視覚的フィードバックに最適な描出法は何かを検討する。また、異常構音の発生要因となる舌運動分析について、前述のごとく、エレクトリックパラトグラムによる舌運動分析を継続的に行い、言語訓練中の患児が視覚的に構音点を捉え、行動変容に応用できることを確認する予定である。
以上の解析により、現在問題となっている口蓋裂術後の異常構音の発生メカニズム、ならびに消失メカニズムについて分析を行い、より科学的理論に裏打ちされた口蓋裂言語訓練法の開発に繋げていく。
|
