難聴児向けモバイル端末用発話訓練アプリケーションの開発

• 研究課題/領域番号: 23K02623
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 審査区分: 小区分09060:特別支援教育関連
• 研究機関: 大阪電気通信大学
• 研究代表者: 早坂 昇 大阪電気通信大学, 情報通信工学部, 教授 (50554573)
• 研究期間 (年度): 2023-04-01 – 2026-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円); 2025年度: 390千円 (直接経費: 300千円、間接経費: 90千円); 2024年度: 390千円 (直接経費: 300千円、間接経費: 90千円); 2023年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
• キーワード: 発話訓練 / 単音節認識 / 深層学習 / モバイル端末

研究開始時の研究の概要

本研究は，児童の聴覚障がい者(以下，難聴児)を対象とする単音節発話訓練システムを構築し，難聴児の発話能力およびモチベーションの向上，言語聴覚士の負担軽減を目的とする．単音節の高い認識精度を達成するため，健聴児および難聴児の音声を収集し，それらの音声により単音声を識別するディープニューラルネットワークを学習する．また，直感的かつ楽しみながら訓練できるようゲーム要素を取り入れた仕様でシステムを構築する．また，ユビキタストレーニングを実現するため，スマートフォンなどのモバイル端末へ実装し，広く普及させたいと考えている．

研究実績の概要

本研究の目的は，自発的に取り組むことができる単音節発話訓練アプリケーションを構築し，難聴児の発話能力やモチベーションを向上させることである．その目的を達成するため，2023年度は【課題1】である「実環境下における高い単音節認識精度の達成」および【課題2】である「ゲーム要素を取り入れた発話訓練アプリケーションの開発」に取り組んだ．
【課題1】に関して，まず，難聴児の単音節音声データの収録を行った．研究協力者(難聴児)の確保が非常に難航していたことから，研究協力者の聴力レベル，学年，性別等に制限をかけずに実施した．ろう学校の視聴覚室を利用し，小学生10名(小1～6)から収録した．当初計画では，収録音声に対してメルスペクトログラムを算出し，畳み込みニューラルネットワークを用いて学習・認識を行う予定であったが，研究協力者の確保が難航したことにより十分なデータを確保することができなかったため，目標としていた高い単音節認識精度を達成することはできなかった．次年度においては，当初計画の人数程度になるように更にデータを拡充させるだけでなく，健聴者による音声も混合させることでデータ量を確保し，再度，実験を行う予定である．
【課題2】に関しては，アプリケーションの基本となる録音・再生機能，録音・再生中のスペクトル包絡・音量・基本周波数の表示機能，単音節発話動画の視聴機能をスマートフォンのアプリケーションとして実装した．また，単音節発話訓練機能の一部についても実装済みである．一方，使用者が比較的低年次の児童であることを考慮したユーザインタフェースや表示機能になっていない部分もあり，次年度以降で改善する予定である．

現在までの達成度 (区分)

4: 遅れている

理由

【課題1】に関して，収録を検討していたろう学校からデータを集めることができず，予定していた畳み込みニューラルネットワークの学習を行うことができず，当初計画と比べ大幅に遅れている．
【課題2】に関しては，当初計画では2024年度から実施する予定であったが，【課題1】の進捗が遅れていたことから，アプリケーションの基本部分および発話訓練機能の一部まで実装している．

今後の研究の推進方策

【課題1】の高い単音節認識精度の達成に関しては，当初計画の人数となるように難聴児のデータを拡充させる予定である．十分に集まらないことを想定し，健聴者による音声も混合させることで目標の達成を目指す．
【課題2】のアプリケーション開発に関しては，スペクトル包絡を表示する機能に対し当該発話の目標となるフォルマント位置を表示する機能の追加や，発話動画の視聴機能において口内の動きがわかるようなアニメーションの追加を検討している．また，【課題1】においてある程度の性能を達成する見通しが立てば，音楽ゲーム要素を導入した単音節発話訓練機能の実装も行う予定である．
アプリケーションの使用者が比較的低年次の児童であることを考慮し，直感的な操作性および評価結果のわかりやすい提示方法についても検討しなければならない．今後も言語聴覚士のアドバイスをいただきながら進める予定である．