難聴児向けモバイル端末用発話訓練アプリケーションの開発

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K02623
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 早坂 昇 大阪電気通信大学, 情報通信工学部, 教授 (50554573)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 発話訓練 / 単音節認識 / 深層学習

Outline of Annual Research Achievements

本研究の目的は，自発的に取り組むことができる単音節発話訓練アプリケーションを構築し，難聴児の発話能力やモチベーションを向上させることである．その目的を達成するため，2023年度は【課題1】である「実環境下における高い単音節認識精度の達成」および【課題2】である「ゲーム要素を取り入れた発話訓練アプリケーションの開発」に取り組んだ．
【課題1】に関して，まず，難聴児の単音節音声データの収録を行った．研究協力者(難聴児)の確保が非常に難航していたことから，研究協力者の聴力レベル，学年，性別等に制限をかけずに実施した．ろう学校の視聴覚室を利用し，小学生10名(小1～6)から収録した．当初計画では，収録音声に対してメルスペクトログラムを算出し，畳み込みニューラルネットワークを用いて学習・認識を行う予定であったが，研究協力者の確保が難航したことにより十分なデータを確保することができなかったため，目標としていた高い単音節認識精度を達成することはできなかった．次年度においては，当初計画の人数程度になるように更にデータを拡充させるだけでなく，健聴者による音声も混合させることでデータ量を確保し，再度，実験を行う予定である．
【課題2】に関しては，アプリケーションの基本となる録音・再生機能，録音・再生中のスペクトル包絡・音量・基本周波数の表示機能，単音節発話動画の視聴機能をスマートフォンのアプリケーションとして実装した．また，単音節発話訓練機能の一部についても実装済みである．一方，使用者が比較的低年次の児童であることを考慮したユーザインタフェースや表示機能になっていない部分もあり，次年度以降で改善する予定である．

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

【課題1】に関して，収録を検討していたろう学校からデータを集めることができず，予定していた畳み込みニューラルネットワークの学習を行うことができず，当初計画と比べ大幅に遅れている．
【課題2】に関しては，当初計画では2024年度から実施する予定であったが，【課題1】の進捗が遅れていたことから，アプリケーションの基本部分および発話訓練機能の一部まで実装している．

Strategy for Future Research Activity

【課題1】の高い単音節認識精度の達成に関しては，当初計画の人数となるように難聴児のデータを拡充させる予定である．十分に集まらないことを想定し，健聴者による音声も混合させることで目標の達成を目指す．
【課題2】のアプリケーション開発に関しては，スペクトル包絡を表示する機能に対し当該発話の目標となるフォルマント位置を表示する機能の追加や，発話動画の視聴機能において口内の動きがわかるようなアニメーションの追加を検討している．また，【課題1】においてある程度の性能を達成する見通しが立てば，音楽ゲーム要素を導入した単音節発話訓練機能の実装も行う予定である．
アプリケーションの使用者が比較的低年次の児童であることを考慮し，直感的な操作性および評価結果のわかりやすい提示方法についても検討しなければならない．今後も言語聴覚士のアドバイスをいただきながら進める予定である．

Causes of Carryover

当初予定していた収録作業が滞ったためである．次年度に収録を実施する予定である．