• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Visualization of speech intelligibility for the purpose of speech training for the deaf and hard of hearing

Research Project

Project/Area Number 22K18580
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 9:Education and related fields
Research InstitutionTsukuba University of Technology

Principal Investigator

安 啓一  筑波技術大学, 産業技術学部, 准教授 (70407352)

Project Period (FY) 2022-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywords聴覚障害 / 発声・発語 / 聴覚フィードバック / 音声特徴量 / 可視化 / 音声明瞭度
Outline of Research at the Start

聴覚障害があると,周りの音の理解や音声の聴き取りの困難のみならず,自分の発する声も聞こえづらくなるため(聴覚フィードバックの低下),自分の声をはっきり発話することが困難となる(明瞭性の低下).そのため,発声発語の訓練を幼少時から受けるが,訓練者の技術や経験に頼る部分が多く,客観的な明瞭性の判断や,当事者自身による訓練は難しい.
そこで,本研究では音声の明瞭性を専門知識がなくとも視覚的に捉えることによって,音声コミュニケーションの可能性を高め,聴覚障害がある当事者のニーズに答え,かつ,社会の中での活躍の場を拡大することを目的とする.

Outline of Annual Research Achievements

先天的に聴覚障害がある場合,言語獲得期を中心に発声発語の訓練を受けることが多い.これは,聴覚的なフィードバックを得られずにことばの表出が不明瞭になることが多く,訓練によって音声言語に関わる各種器官の訓練によって明瞭な発話を獲得・維持しようとするものである.このような指導は特別支援学級やことばの教室などで行われることが多いが,児童や生徒の卒業後には継続が途切れることが多く,たとえば聴者と接する機会が増える就職活動の際に自身の発話の明瞭性に不安を持ち発話訓練を希望するケースがある.出身の学校などに相談できる相手が身近にいる場合は対面での訓練が可能かもしれないが,出身地を離れた場合など,対面で訓練を受けられないこともある.そこで,当事者が個別でいつでも自分のペースで発声・発語の訓練ができるシステムの開発を目指し,前年度に引き続き本年度は音響的特徴量の可視化に取り組んだ.前年度で選定した音響的特徴量の可視化として発話持続時間長の測定,ボリュームメータによる声量の可視化,発話内容を時間波形表示やスペクトログラム表示による周波数分析をする機能,自動音声認識による発話のテスト等をPCやスマートフォンのブラウザで実装した.並行して,これまでに特別支援学校などで行われてきた発声発語指導のサーベイから,訓練に必要な機能の選定を進めた.聴覚障害のある若年者を対象に予備的に本システムを使用してもらい,使い勝手や改善点等のフィードバックを得ることができた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は,前年度に引き続き,音響的特徴量の選定と可視化のためのシステム実装を行った.並行して,ろう学校などの特別支援教育に関わる教員にヒアリングを行い,これまでに行われてきた発声・発語の訓練のサーベイを進めた.その過程において教材のデジタル化としてアプリケーションの実装が行われていることを確認したが,長期的には動作環境の維持が課題であることが明らかになった.そこで,音声訓練で使用されてきた方法をデジタル化する際には,様々な環境で実行が可能なブラウザ上で動作するwebアプリケーションの形式で実装する方針とした.実装段階として外部有識者と連携し,プロトタイプのソフトウェアを開発した.関連する対外報告として,日本音響学会を中心に,音声コミュニケーション分野の研究者や特別支援教育に関わる教育者と議論を進めた.また,聴覚障害のある当事者によるプロトタイプの評価を行い,改善点を議論した.

Strategy for Future Research Activity

最終年度として,webアプリケーションの公開を予定している.これに伴い,発声発語に関する歴史や教材をまとめたリソースの公開も計画している.個別のニーズを詳細に調査し,多様な訓練アプリから選択可能な仕組みを構築する.学習効果を確認するため,自分の声を記録する仕組みの実装が必要である.特別支援学校で発声・発語の訓練を行う言語聴覚士にプロトタイプを試用してもらい,訓練現場での有効性を検証する.成果として得られた訓練システムをスマートフォンやタブレットのアプリケーションとして無償で広く公開し,これまでツールを使用してこなかった層にもアプローチすることを目指す.対外発表として,成果をまとめた論文としての公開,国際会議での発表,ポータルサイトでのリソースおよびアプリケーションの公開を行う.公開後も,当事者のフィードバックを活かし,コンテンツの更新を定期的に行う.

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (22 results)

All 2024 2023 2022

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 1 results) Presentation (18 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Examining How Interaural Differences Owing to Head Rotation during Walking Improve the Distance of Auditory Obstacle Perceptions among Individuals with Visual Impairment: A Case Study in Small-Scale Blind Group2024

    • Author(s)
      Miura T, Okochi N, Mats,uo M, Yabu K, Katagiri A, Yasu K, Sakajiri M, Ifukube T
    • Journal Title

      Life 2024

      Volume: 14(3) Issue: 3 Pages: 356-356

    • DOI

      10.3390/life14030356

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Audibility and Preference of Musical Instrument by People with Hearing Loss2023

    • Author(s)
      Hiraga Rumi、Yasu Keiichi、Shiraishi Yuhki
    • Journal Title

      2023 IEEE International Conference on Systems, Man, and Cybernetics (SMC)

      Volume: 1 Pages: 1-4

    • DOI

      10.1109/smc53992.2023.10394016

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Corpus Construction for Deaf Speakers and Analysis by Automatic Speech Recognition2023

    • Author(s)
      Kobayashi Akio、Yasu Keiichi
    • Journal Title

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      Volume: 1 Pages: 1-6

    • DOI

      10.1109/apsipaasc58517.2023.10317192

    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Design and Evaluation of Instrument Sound Identification Difficulty for the Deaf and Hard-of Hearing2022

    • Author(s)
      Akaki Shiho、Hiraga Rumi、Yasu Keiichi、Tabuchi Keiji、Terasawa Hiroko
    • Journal Title

      Proceedings of APSIPA 2022

      Volume: - Pages: 723-728

    • DOI

      10.23919/apsipaasc55919.2022.9980104

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] 混合音声から抽出した難聴者の発話の聞き取りやすさに関する客観的および主観的な評価による検討2023

    • Author(s)
      藤江匠汰, 安啓一, 小林彰夫
    • Organizer
      研究報告アクセシビリティ (AAC)
    • Related Report
      2023 Research-status Report
  • [Presentation] 伝音性難聴のある成人による軟骨伝導型振動子の装着位置の検討 頭部固定位置による純音聴力レベルと文章了解度の変化2023

    • Author(s)
      安啓一, 藤江匠汰, 中津智貴, 平賀瑠美
    • Organizer
      音声コミュニケーション研究会資料
    • Related Report
      2023 Research-status Report
  • [Presentation] 楽曲におけるボーカルの発声タイミングの振動化のための精度検証-聴覚障害者の音楽体験の向上2023

    • Author(s)
      山元颯斗, 平賀瑠美, 安啓一
    • Organizer
      研究報告アクセシビリティ (AAC)
    • Related Report
      2023 Research-status Report
  • [Presentation] ラジオ音声を対象とした音声強調における擬似学習データ利用の検討2023

    • Author(s)
      小林彰夫,安啓一
    • Organizer
      情報処理学会第86回全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 「聴覚心理学」を知ってもらう活動2023

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      日本音響学会音声コミュニケーション研究会資料, 3(1), 2023-01-28
    • Related Report
      2022 Research-status Report
  • [Presentation] 音声コミュニケーション教育・研究用の対話的可視化・可聴化環境について2023

    • Author(s)
      河原英紀,榊原健一,安啓一,小林敬
    • Organizer
      日本音響学会音声コミュニケーション研究会資料, 3(1), 2023-01-28
    • Related Report
      2022 Research-status Report
  • [Presentation] 発話訓練時の自声の音響特徴量の可視化と視覚的フィードバックー聴覚障害のある若年者による評価ー2023

    • Author(s)
      安啓一
    • Organizer
      日本音響学会音声コミュニケーション研究会資料, 3(1), 2023-01-28
    • Related Report
      2022 Research-status Report
  • [Presentation] 品質劣化したラジオ音声を対象とした音声強調手法の検討2023

    • Author(s)
      小林彰夫, 安啓一
    • Organizer
      第85回情報処理学会全国大会講演論文集. 2023. 4. 463-464
    • Related Report
      2022 Research-status Report
  • [Presentation] 音韻特徴を用いた聴覚障害者音声のEnd-to-End音声認識2023

    • Author(s)
      小林彰夫, 安啓一
    • Organizer
      第85回情報処理学会全国大会講演論文集. 2023. 4. 465-466
    • Related Report
      2022 Research-status Report
  • [Presentation] 軽度・中等度難聴者と中途失聴者のきこえの自己評価2023

    • Author(s)
      松谷朋美,安啓一,佐藤正幸
    • Organizer
      情報処理学会アクセシビリティ研究会資料 2023-AAC-21(15),1-8 (2023-03-15) , 2432-2431
    • Related Report
      2022 Research-status Report
  • [Presentation] 聴覚障害の臨床と聴覚心理学2023

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      日本音響学会春季研究発表会講演論文集, pp. 553-554, 2023-03-15
    • Related Report
      2022 Research-status Report
  • [Presentation] 「使える音響学」にする試み2023

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      日本音響学会春季研究発表会講演論文集, pp. 9-10, 2023-03-17
    • Related Report
      2022 Research-status Report
  • [Presentation] Perception of intervals by Deaf and Hard of Hearing individuals: a preliminary study2022

    • Author(s)
      R. Hiraga, S. Emori, K. Yasu
    • Organizer
      Proc. of SMPC 2022 Conference, B32, 2022-08-04
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 「ST養成校の音響学教師のつながり」を作る2022

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      日本音響学会秋季研究発表会講演論文集, pp. 7-8, 2022-09-16
    • Related Report
      2022 Research-status Report
  • [Presentation] 「STの音響学活用相談会」 求められているもの2022

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      日本音響学会秋季研究発表会講演論文集, pp. 1029-1030, 2022-09-16
    • Related Report
      2022 Research-status Report
  • [Presentation] 学習データの拡張による聴覚障害者音声認識の検討2022

    • Author(s)
      小林彰夫,安啓一
    • Organizer
      日本音響学会秋季研究発表会講演論文集, pp. 1323-1324, 2022-09-16
    • Related Report
      2022 Research-status Report
  • [Presentation] 感音性難聴のある若年者による歌唱支援システムの評価: 視覚と振動による音高のフィードバック2022

    • Author(s)
      安啓一,坂尻正次,藪謙一郎,三浦貴大,片桐淳,伊福部達
    • Organizer
      日本音響学会秋季研究発表会講演論文集, pp. 1067-1068, 2022-09-16
    • Related Report
      2022 Research-status Report
  • [Presentation] STにとっての「マイボイス」2022

    • Author(s)
      竹内京子,青木直史,荒井隆行,鈴木恵子,世木秀明,秦若葉,安啓一
    • Organizer
      第67回日本音声言語医学会学術講演会, 2022-11-24
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi