2022 Fiscal Year Research-status Report
Visualization of speech intelligibility for the purpose of speech training for the deaf and hard of hearing
| Project/Area Number |
22K18580
|
|---|
| Research Institution | Tsukuba University of Technology |
|---|
Principal Investigator |
安 啓一 筑波技術大学, 産業技術学部, 講師 (70407352)
|
|---|
| Project Period (FY) |
2022-06-30 – 2025-03-31
|
| Keywords | 聴覚障害 / 発声・発語 / 聴覚フィードバック / 音声特徴量 / 可視化 |
|---|
| Outline of Annual Research Achievements |
聴覚障害がある場合，聴覚的なフィードバックが得られづらくなることにより，自分の発する声も聞こえづらくなる．そのため，自分の声をはっきり発話することが困難となる（明瞭性の低下）．聴覚障害のあるこどもは，ろう学校やことばの教室の教員や言語聴覚士などの指導担当者から直接発声・発語の指導を受けることが多いが，義務教育卒業以降は指導を受ける機会が少なくなる傾向がある．そのため，大学入学後や仕事に就いた後では指導を受けられる機会は極端に減ってしまう．そこで本研究では自分の発する音声の明瞭性を専門知識がなくとも視覚的に捉える仕組みを提案・実装することによって，音声コミュニケーションの可能性を高め，聴覚障害がある当事者のニーズに答え，かつ，社会の中での活躍の場を拡大することを目的とする．
本年度は，聴覚に障害のある者が発する音声の重要な特徴（音声特徴量）を決定するため，既存の可視化プログラム（音響分析ソフトのスペクトログラム表示等）調査した．聴覚障害者の音声の訓練ソフトはこれまでにも存在するが，音響特徴量をそのまま表示することが一般的であり実際の発話の運動とどのように結びついているのかが分かりづらいことが調査の結果明らかになってきている．また，本年度は新たな特徴量表示のためのツールの開発にあたり，プロトタイプを聴覚障害のある若者による使用評価を実施し，表示に必要な情報の整理と表示方法について議論を深めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は昨年度に引き続き，聴覚障害のある当事者とともに発声・発語の指導に必要な音声の特徴（音声特徴量）の選定を行った．聴覚障害のある当事者との議論の中で発話の際の呼気量の重要性，声の大きさの制御（音圧），声の高さの制御（ピッチ，基本周波数），声道の制御（口や舌の動き）の可視化，声道の共鳴周波数（フォルマント周波数）の時間変化を表示する，などの重要性を確認した．これらの特徴量をどのような方法で表示すると発声・発語の訓練につながるかを，実際に発声・発語指導の経験があるろう学校出身の教員と議論も行った．聴覚障害のある当事者とのディスカッションの中で，発音の苦手な音声には個人差が大きいことがわかった．特に純音聴力レベルや語音聴力レベルが個人により異なるため，発話にも影響を及ぼしていることが示唆されている．そのため，ニーズに応じるためには多種の特徴量の中から選択表示することが望まれていることもわかった．本年度の成果として，日本音響学会音声コミュニケーション研究会にて発表を2件行い，音声・音響工学の専門家のみならず言語聴覚士やろう学校の教員からの貴重なフィードバックを得られた．
また，昨年度に引き続き，現在利用できる市販の訓練教材や音響分析ソフトウェアの調査を続けた．当事者に実際にソフトウェアを使用してもらい，音響特徴量の提示方法について評価を行った。今後訓練ソフトとしてシステムを設計する際にこれらの評価を基に開発が進むことが期待される。
|
| Strategy for Future Research Activity |
本年度は引き続きこれまでの研究から，個々の聴力やニーズに合わせた音声の特徴量の選択が可能になる訓練システムの構成を検討する．訓練システムに音響特徴量を組み込む際に可視化方法について引き続き聴覚障害者のある当事者とともに検討する．
これまでのヒアリングや議論から当事者からは言語聴覚士などによるお手本の音声との比較についての要望が多くあった．
また，訓練を受ける者（当事者）の自習の観点から，音声データを録音し保存する仕組みにがあると，訓練者による正常音声と比較しながら効果的な訓練が可能となるシステムの構築および音声の明瞭度の改善を目的としたリハビリ手法を確立することを目的とする．さらに個々の聴力の違いに対応するため，聴力測定の結果（オージオグラム等）を反映させた聞こえと苦手な音声を対応づけた表示を試みる．つまり聴力から推測してどのような音素（母音や子音）の聞き取りや発声が苦手なのかを把握しながら訓練ができるよう，可視化を行う．個々の訓練者の技能や経験に頼っていた，聴覚障害者の発話訓練のエッセンスを訓練ツールとして公開する．音響特徴量以外にも訓練者のスキルをどのようにシステムに反映させるか，発音検査とその評価法に関する研究から，どのように当事者にフィードバックし，（リ）ハビリテーション（発声指導）を行う方法について取り組む．具体的にはアプリケーションのモックアップを作成し，オフラインでの検討を行う．成果として得られた訓練システムをスマートフォンやタブレットのアプリケーションとして無償で世の中に広く公開することでこれまでにツールを使用してこなかった層にアプローチすることを目標とする．
|
| Causes of Carryover |
本年度は新型コロナウイルス感染症の影響により，聴覚障害のある当事者による評価を得る機会が極端に減ってしまった．そのための旅費や謝金，さらには訓練システム開発の委託費用，開発のための音響機器やアプリケーション開発用のコンピュータ機器の購入が遅れた．そのため，次年度にて開発機器の購入や旅費，謝金の支払いを予定している．また，成果報告のための旅費として国際会議参加費および海外渡航の費用を見込んでいる．論文公開の際の英文校閲やオープンアクセス掲載費用としても使用を予定している．感染症の動向を見ながら，聴覚障害のある当事者とのディスカッションや音響特徴量の可視化検討のための予備実験の機会を増やすことを予定している．
|
