2018 Fiscal Year Annual Research Report
Development of the cleft palate speech assessment and treatment system using a new neural network theory
| Project/Area Number |
17H04407
|
|---|
| Research Institution | Kagoshima University |
|---|
Principal Investigator |
中村 典史 鹿児島大学, 医歯学域歯学系, 教授 (60217875)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
上田 裕市 熊本大学, 大学院先端科学研究部(工), 教授 (00141961)
手塚 征宏 鹿児島大学, 医歯学域歯学系, 助教 (50759777)
坂田 聡 熊本大学, 大学院先端科学研究部(工), 助教 (80336205)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 口唇裂口蓋裂 / 音声 / 言語障害 / ニューラルネットワーク / AI |
|---|
| Outline of Annual Research Achievements |
口蓋裂患者の異常構音は、しばしば患者のコミュニケーション障害を招き、患者のQOLを著しく低下させる．正常な言語を早期に獲得するには、幼少時に鼻咽腔閉鎖機能や構音動作を正確に判定し、非侵襲で信頼性の高い検査法、さらには訓練法を確立することが重要である．本研究の目的は、新規構音ニューラルネットワークを応用し、マイク入力した音声信号を用いて口蓋裂術後の異常構音特徴を視覚的に表現すること．さらに，同様に色彩表示した母音の鼻咽腔閉鎖機能と子音の異常構音との関連性を解明し，異常構音の発現要因を明かにするとともに，その診断補助や構音訓練の視覚フィードバックに用いる非侵襲的なリアルタイム音声可視化システムを構築し、臨床応用を目指すものである．
研究実績は、音声データ収集のための録音系統整備を行うとともに，音素毎の構音解析のために検査語音50語の切り出し編集ツールの作成により，録音・編集・解析・可視化の各機能を有するプロトタイプシステムを構築した．さらに、ニューラルネットワーク出力の高精度化（時間分解能の向上等）を行った．構築したプロトタイプシステムを用いて，口蓋裂術後の鼻口蓋瘻孔ならびに，それに関連した鼻咽腔閉鎖機能不全と異常構音を有する患者を対象に，鼻口蓋瘻孔閉鎖術前後ならびに構音訓練後の経時的な構音特徴の変化を観察した．その結果，鼻口蓋瘻孔閉鎖に伴う鼻咽腔閉鎖機能の改善と合わせて，構音点の異常が徐々に健常者の構音と近い形に改善されてていくことが描出された．
また，口蓋裂児と健常児の音声データを収集し，５母音の色彩表示による音声可視化表示を行うとともに，ネーザランス，鼻咽腔内視鏡所見との関連を解析した．その結果，検査語音50語の色彩表示された5母音の音声特徴はネーザランスと相関し，鼻咽腔閉鎖が良くなれば健常者と同じ色調で描出できることが分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
音声解析システムの構築面では，音声データ収集のための録音系統整備を行うとともに，音素毎の構音解析のための検査語音50語の切り出し編集機能，解析機能の高精度化，そして新たな可視化機能を付加したプロトタイプシステムを構築した．また，音声解析システムの臨床応用の面では，口蓋裂児および健常児の音声データについては経時的データの収集，整理を進めて，５母音の色彩表示による音声可視化表示を行うとともに，ネーザランスと色彩表示された母音の音声特徴の相関について解析を行うことができた，同時に，新たに構築したニューラルネットワーク出力解析システムを用いて構音操作の可視化表示が行えることを確認し，得られた音声特徴が聴覚的な異常構音と相関していることが明かになった．この内容については，すでに国際誌に論文投稿済みである．
平成30年度は、構築した音声解析プロトタイプシステムを用いて，口蓋裂術後の鼻口蓋瘻孔ならびに，それに関連した鼻咽腔閉鎖機能不全と異常構音を有する患者を対象に，鼻口蓋瘻孔閉鎖術前後ならびに構音訓練後の経時的な構音特徴の変化を観察した．その結果，鼻口蓋瘻孔閉鎖に伴う鼻咽腔閉鎖機能の改善と合わせて，構音点の異常が徐々に健常者の構音と近い形に改善されていくことが描出可能となった．さらに、異常構音の改善を導くには成立メカニズムを知ることが重要であることから，口蓋化構音、咽頭摩擦音、声門破裂音などの構音点の後方化を呈する患者８名の経時的音声データを用いて、ニューラルネットワーク出力解析による子音の分析を行いその結果を、米国オハイオ州で開催された第２回国際VPD （鼻咽腔閉鎖機能障害）シンポジウムで発表した．この内容は現在論文作成中である．
|
| Strategy for Future Research Activity |
今までの研究により、ニューラルネットワークを用いた構音機能の解析・可視化システムが，患者の母音および子音の構音動作を正しく，また，視覚的に確認し得るレベルで可視化表示できることを示しており，本研究の目的である，医療現場での実用可能な有用な診断・訓練システムに発展し得ることが確認された．
平成31年度は，上記のニューラルネットワーク出力解析システムをさらに医療現場での利用可能とするために、リアルタイムな子音・母音の分析結果を、色表示システムで画面上に描出し、患者自身が自分の音声の異常を色認識しながら構音訓練できるようなシステム構築を目指す．さらに、異常構音の改善を導くには成立メカニズムを知ることが重要であることから，口蓋化構音、咽頭摩擦音、声門破裂音などの構音における構音点の後方化を呈する患者の経時的音声データを用いて、母音バランスチャート，ニューラルネットワーク出力解析による子音のリアルタイム音声分析，および鼻咽腔閉鎖機能との相互関連を調べる．さらに、電気声門図観測装置（EGG装置）を用いて、音声分析により得られる音声特徴量と発声時の異常構音指標（声門破裂や鼻腔開閉など）を声帯振動波形や鼻腔振動波形から確認し、これらの総合的な観察結果をもとに、異常構音定着に至る生体の音響環境の影響を解析する計画である．
|
-
[Journal Article] Comparison of short-term effects of pre-surgical nasolaveolar molding and Hotz’s plate on the maxillar arch from in unilateral cleft lip and palate.2019
Author(s)
Takao Fuchigami, Namiko Kimura, Masahiro Tezuka, Toshiro Kibe, Muhammad Subhan Amir, Hokuto Suga, Yoshihiko Takemoto, Makiko Hashiguchi, Aya Maeda-Iino, Norifumi Nakamura
-
Journal Title
Journal of Oral Maxillofacial Surgery, Medicine, and Pathology
Volume: 31(1)
Pages: 25-130
DOI
Peer Reviewed
-
[Journal Article] Pilot study of visual and quantitative image analysis of facial surface asymmetry in unilateral complete cleft lip and palate.2018
Author(s)
Namiko Kimura, Hyo-Gok Kim, Takako Okawachi, Takao Fuchigami, Masahiro Tezuka, Toshiro Kibe, Shinji Yamada, Subhan Amir, Kiyohide Ishihata, Etsuro Nozoe, Norifumi Nakamura
-
Journal Title
Cleft Palate-Craniofacial Journal
Volume: -
Pages: -
DOI
Peer Reviewed
-
-
-
-
-
-
-
[Presentation] An approach to scoring backing errors for palatalized misarticulation in Japanese-speaking children with repaired cleft palate.2018
Author(s)
Yuko Ogata, Akiko Imamura, Y Imamura, M Masuda, M, Dansako, Sachiyo Hasegawa, Masahiro Tezuka, Touko Hayakawa, Takeshi MItsuyasu, Norifumi Nakamura, Seiji Nakamura
Organizer
Second International Symposium on Velopharyngeal Dysfunction
Int'l Joint Research
