• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

教育現場における健聴者・聴覚障害者間の円滑な意思疎通を支援する音声言語基盤技術

研究課題

研究課題/領域番号 20H01716
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分09070:教育工学関連
研究機関大和大学 (2022-2023)
筑波技術大学 (2020-2021)

研究代表者

小林 彰夫  大和大学, 情報学部, 教授 (10741168)

研究分担者 北岡 教英  豊橋技術科学大学, 工学(系)研究科(研究院), 教授 (10333501)
西崎 博光  山梨大学, 大学院総合研究部, 教授 (40362082)
安 啓一  筑波技術大学, 産業技術学部, 准教授 (70407352)
研究期間 (年度) 2020-04-01 – 2023-03-31
研究課題ステータス 完了 (2023年度)
配分額 *注記
18,070千円 (直接経費: 13,900千円、間接経費: 4,170千円)
2022年度: 4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2020年度: 9,750千円 (直接経費: 7,500千円、間接経費: 2,250千円)
キーワードろう・難聴 / 音声認識 / 音声コミュニケーション / 聴覚障害者 / 情報保障 / 聴覚障害 / ニューラルネットワーク / データ拡大法 / 音声言語処理 / 点訳 / 視覚障害者 / 盲ろう / 敵対的生成ネットワーク / 音声コーパス
研究開始時の研究の概要

健聴者(聞こえる人)と聴覚障害者とのコミュニケーションでは、筆談や手話通訳が使われるが、いずれも円滑な意思疎通が行えていない。そこで、健聴者と障害者双方にとって円滑な意思疎通を実現する、音声言語基盤技術(コミュニケーションブリッジ)を研究する。本研究では次の5つの研究項目を実施する。1)聴覚障害者音声の収集、2)健聴者と聴覚障害者の意思疎通に有効な音響特徴、3)聴覚障害者音声の音響的特性を反映した音声認識、4)これらを統合したコミュニケーションブリッジの構築と、5)その評価。本研究により、健聴者と聴覚障害者の相互理解が深まり、ひいては障害者の社会進出が支援可能となる。

研究成果の概要

発音の不明瞭なろう・難聴者(聴覚障害者)にとって、音声認識を備えた音声インターフェースは認識性能の低さから使いにくいものであった。そこでこの問題を解決するために、本研究では50名のろう・難聴者の音声を収集したコーパスを整備し、読み上げ文や自由発話(会話)を多数収集した。また、整備したコーパスを用いてろう・難聴者の音声認識性能の改善を行った。その結果、ろう・難聴の読み上げ文の発話に対して、聴者には及ばないものの有意な認識誤りの削減となった。

研究成果の学術的意義や社会的意義

聴覚障害学的な観点からのコーパス作成はこれまでも世界的に行われてきたが、音声認識を含む音声言語処理への応用を視野に入れた50人ほどの大規模コーパスは例がなく、聴覚障害者を対象とした音声言語処理技術の進展に大きく寄与するものである。重度聴覚障害者の発話は多様性があり、既存の音声認識ソフトウェアで十分な認識性能に達する者もいれば、調音運動の不安定性から個人適応のような手法によっても性能の改善が限定的であるなどの知見が得られており、聴覚障害者を支援する音声インターフェースを備えたデバイスの実現に向けて前進した。

報告書

(4件)
  • 2023 研究成果報告書 ( PDF )
  • 2022 実績報告書
  • 2021 実績報告書
  • 2020 実績報告書
  • 研究成果

    (28件)

すべて 2024 2023 2022 2021 2020

すべて 雑誌論文 (11件) (うち査読あり 11件、 オープンアクセス 2件) 学会発表 (17件)

  • [雑誌論文] Corpus Construction for Deaf Speakers and Analysis by Automatic Speech Recognition2023

    • 著者名/発表者名
      Kobayashi Akio、Yasu Keiichi
    • 雑誌名

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: 1 ページ: 1-6

    • DOI

      10.1109/apsipaasc58517.2023.10317192

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] End-To-End Speech to Braille Translation in Japanese2022

    • 著者名/発表者名
      Akio Kobayashi , Junji Onishi , Hiromitsu Nishizaki , Norihide Kitaoka
    • 雑誌名

      Conference Proceedings of 2022 IEEE International Conference on Consumer Electronics (ICCE)

      巻: 2022 ページ: 1-2

    • DOI

      10.1109/icce53296.2022.9730468

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Dynamic out-of-vocabulary word registration to language model for speech recognition2021

    • 著者名/発表者名
      Kitaoka Norihide、Chen Bohan、Obashi Yuya
    • 雑誌名

      EURASIP Journal on Audio, Speech, and Music Processing

      巻: 2021 号: 1 ページ: 1-8

    • DOI

      10.1186/s13636-020-00193-1

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Corpus Design and Automatic Speech Recognition for Deaf and Hard-of-Hearing People2021

    • 著者名/発表者名
      Kobayashi Akio、Yasu Keiichi、Nishizaki Hiromitsu、Kitaoka Norihide
    • 雑誌名

      2021 IEEE 10th Global Conference on Consumer Electronics (GCCE)

      巻: N.A. ページ: 17-18

    • DOI

      10.1109/gcce53005.2021.9621959

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Advanced language model fusion method for encoder-decoder model in Japanese speech2021

    • 著者名/発表者名
      Daiki Mori, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, Norihide Kitaoka
    • 雑誌名

      Proc. APSIPA ASC 2021

      巻: - ページ: 503-510

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] End-to-end spontaneous speech recognition using hesitation labeling2021

    • 著者名/発表者名
      Koharu Horii, Meiko Fukuda, Kengo Ohta, Ryota Nishimura, Atsunori Ogawa, Norihide Kitaoka
    • 雑誌名

      Proc. APSIPA ASC 2021

      巻: - ページ: 1077-1081

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] ExKaldi-RT: A Real-Time Automatic Speech Recognition Extension Toolkit of Kaldi2021

    • 著者名/発表者名
      Wang Yu, Chee Siang Leow, Akio Kobayashi, Takehito Utsuro, Hiromitsu Nishizaki
    • 雑誌名

      Proceedings of 2020 IEEE 10th Global Conference on Consumer Electronics (GCCE)

      巻: - ページ: 346-350

    • DOI

      10.1109/gcce53005.2021.9621992

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [雑誌論文] Development of a Low-Latency and Real-Time Automatic Speech Recognition System2020

    • 著者名/発表者名
      Leow Chee Siang, Hayakawa Tomoaki, Nishizaki Hiromitsu, Kitaoka Norihide
    • 雑誌名

      Proceedings of the 2020 IEEE 9th Global Conference on Consumer Electronics

      巻: - ページ: 464-467

    • DOI

      10.1109/gcce50665.2020.9291818

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] ExKaldi: A Python-based Extension Tool of Kaldi2020

    • 著者名/発表者名
      Wang Yu, Leow Chee Siang, Nishizaki Hiromitsu, Kobayashi Akio, Utsuro Takehito
    • 雑誌名

      Proceedings of the 2020 IEEE 9th Global Conference on Consumer Electronics

      巻: - ページ: 470-473

    • DOI

      10.1109/gcce50665.2020.9291717

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] End-to-end recognition of streaming Japanese speech using CTC and local attention2020

    • 著者名/発表者名
      Chen Jiahao、Nishimura Ryota、Kitaoka Norihide
    • 雑誌名

      APSIPA Transactions on Signal and Information Processing

      巻: 9 号: 1 ページ: 1-7

    • DOI

      10.1017/atsip.2020.23

    • NAID

      120007045056

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Disfluencies and Strategies Used by People Who Stutter During a Working Memory Task2020

    • 著者名/発表者名
      Arongna, Naomi Sakai, Keiichi Yasu and Koichi Mori
    • 雑誌名

      Journal of Speech, Language, and Hearing Research

      巻: 63

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [学会発表] ラジオ音声を対象とした音声強調における擬似学習データ利用の検討2024

    • 著者名/発表者名
      小林彰夫、安啓一
    • 学会等名
      第86回情報処理学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 混合音声から抽出した難聴者の発話の聞き取りやすさ に関する客観的および主観的な評価による検討2024

    • 著者名/発表者名
      藤江匠汰、安啓一、 小林彰夫
    • 学会等名
      情報処理学会アクセシビリティ研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 話者適応による聴覚障害者音声認識の評価2024

    • 著者名/発表者名
      高橋快斗、木内貴浩、若林佑幸、太田健吾、小林彰夫、北岡教英
    • 学会等名
      情報処理学会第151回音声言語情報処理研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 聴覚障害者音声における自己教師あり学習に基づく音声認識の評価2024

    • 著者名/発表者名
      高橋快斗、木内貴浩、若林佑幸、太田健吾、小林彰夫、北岡教英
    • 学会等名
      日本音響学会春季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] タスク外音響情報を付加したEnd-to-End音声認識モデルの設計2022

    • 著者名/発表者名
      森 大輝,太田 健吾,西村 良太,小川厚徳, 北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 非流暢ラベルを用いた言い淀み整形End-to-End音声認識2022

    • 著者名/発表者名
      堀井 こはる,福田 芽衣子,太田 健吾,西村 良太,小川厚徳,北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 読み上げ文を対象としたEnd-to-End音声点訳2021

    • 著者名/発表者名
      小林 彰夫、大西 淳児、西崎 博光、北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法2021

    • 著者名/発表者名
      森 大輝,太田 健吾,西村 良太,小川 厚徳,北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 言い淀みを考慮した自由発話のEnd-to-End音声認識2021

    • 著者名/発表者名
      堀井 こはる,福田 芽衣子,太田 健吾,西村 良太,北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] End-to-end音声認識モデルにおける暗黙的言語情報の置換法2021

    • 著者名/発表者名
      森大輝,太田健吾,西村良太,小川厚徳,北岡教英
    • 学会等名
      音学シンポジウム,
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Kaldiベースのストリーミング音声認識システムの開発2021

    • 著者名/発表者名
      レオ チーシャン,王 宇,小林彰夫,宇津呂武仁,西崎博光
    • 学会等名
      日本音響学会2021年秋季研究発表会講演論文集
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 聴覚障害者の音声データの収集と音素認識による評価2021

    • 著者名/発表者名
      小林彰夫 , 安啓一 , 西崎博光 , 北岡教英
    • 学会等名
      日本音響学会研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Uni-directional LSTM と Local Attentionを用いたストリーミング音声認識2020

    • 著者名/発表者名
      陳 家浩,西村 良太,北岡 教英
    • 学会等名
      日本音響学会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 若年の補聴器・人工内耳装用者における語音検査と自身の発話明瞭性の関係2020

    • 著者名/発表者名
      安啓一,種子田尚人,石井悠貴
    • 学会等名
      日本音響学会秋季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 加齢性難聴に伴うポピュラーソングの印象変化の検討~模擬難聴を用いて2020

    • 著者名/発表者名
      寺澤 洋子,水野 真由美,山本 雄也,大中 悠生,石川 嘉秀,松井 淑恵,安啓一
    • 学会等名
      日本音響学会秋季研究発表会講演論文集
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 加齢性難聴者のサイン音認知の研究にむけて2020

    • 著者名/発表者名
      大中悠生, 安啓一, 松井淑惠, 寺澤洋子
    • 学会等名
      情報処理学会研究報告
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 聴覚障害者の調性認知に関する検討2020

    • 著者名/発表者名
      寺澤洋子, 相馬翔太, 安啓一, 平賀瑠美
    • 学会等名
      情報処理学会研究報告
    • 関連する報告書
      2020 実績報告書

URL: 

公開日: 2020-04-28   更新日: 2025-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi