• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ディープニューラルネットワークによる舌亜全摘出者の音韻明瞭性改善の研究

研究課題

研究課題/領域番号 18K11376
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61010:知覚情報処理関連
研究機関岡山大学

研究代表者

阿部 匡伸  岡山大学, ヘルスシステム統合科学学域, 教授 (70595470)

研究分担者 原 直  岡山大学, ヘルスシステム統合科学研究科, 助教 (50402467)
皆木 省吾  岡山大学, 医歯薬学総合研究科, 教授 (80190693)
研究期間 (年度) 2018-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2020年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2019年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2018年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワード声質変換 / 音声合成 / 舌亜全摘出者 / DNN / 知識蒸留 / 舌がん / 音韻明瞭性の改善 / 口唇情報 / 音韻明瞭せいの改善 / 音声明瞭性 / 深層学習 / 口唇形状 / 舌癌 / マルチモダル
研究成果の概要

舌癌の治療で舌の一部を切除された患者(舌亜全摘出者)は,カ行,サ行,タ行の音韻を明瞭に発声できなくなり日常生活に支障を来す.本研究では音声信号処理によって,舌亜全摘出者が発声した音声を明瞭で聞き易い音声に変換する方式を検討した.提案方式はリアルタイム処理を実現するために差分スペクトル補正に基づく声質変換方式をベースとし,健常者音声と舌亜全摘出者音声との差分スペクトルをDeep Neural Networks(DNN)によって推定する.明瞭性の一層の向上を目指し,知識蒸留アプローチによる音韻情報の利用と,補助的な口唇形状の利用を提案し,評価実験により変換精度の改善を示した.

研究成果の学術的意義や社会的意義

音声はコミュニケーションの手段としてばかりでなく,人間としての尊厳を保ち豊かな生活を送るうえで重要な役割を果たしている.舌,顎,唇(以下,調音器官)の癌治療のために調音器官を切除して明瞭な音声を発声できなくなることは日常生活に測り知れない損失をもたらす.本研究では,癌治療によって舌を切除したために,音声を明瞭に発声できなくなった患者を対象に,患者が健常であった頃の音声を取り戻すための技術を提案し,その有効性を示した.2017年の国立がん研究センターの推計によれば,口腔・咽頭癌の患者数は約22,800人(癌患者の約2%を占める)であり,これらの患者が声を取り戻せる可能性を示した.

報告書

(5件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 2018 実施状況報告書
  • 研究成果

    (9件)

すべて 2022 2020 2019 2018 その他

すべて 学会発表 (7件) (うち国際学会 1件) 備考 (2件)

  • [学会発表] 口唇特徴量を利用した知識蒸留による舌亜全摘出者の音韻明瞭度改善法の検討2022

    • 著者名/発表者名
      高島和嗣,阿部匡伸,原直
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 舌亜全摘出者の音韻明瞭度改善のための推定音素事後確率を用いた声質変換の検討2020

    • 著者名/発表者名
      荻野聖也,原直,阿部匡伸
    • 学会等名
      電子情報通信学会総合大会
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] DNN-based Voice Conversion with Auxiliary Phonemic Information to Improve Intelligibility of Glossectomy Patients’ Speech2019

    • 著者名/発表者名
      Hiroki Murakami, Sunao Hara, Masanobu Abe
    • 学会等名
      APSIPA Annual Summit and Conference 2019,
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] 舌亜全摘出者の音韻明瞭度改善のための Bidirectional LSTM-RNN に基づく音素補助情報を用いた声質変換方式の検討2019

    • 著者名/発表者名
      村上博紀,原直,阿部匡伸
    • 学会等名
      日本音響学会2019年春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 声質変換による舌亜全摘出者の音韻明瞭度改善のための音素補助情報の推定方式の検討2019

    • 著者名/発表者名
      荻野聖也,村上博紀,原直,阿部匡伸
    • 学会等名
      日本音響学会2019年春季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 音声と口唇形状を用いた声質変換による舌亜全摘出者の音韻明瞭度改善の検討2018

    • 著者名/発表者名
      荻野聖也,村上博紀,原直,阿部匡伸
    • 学会等名
      電子情報通信学会技術研究報告
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 声質変換による舌亜全摘出者の音韻明瞭度改善のための補助情報の検討2018

    • 著者名/発表者名
      村上博紀,原直,阿部匡伸
    • 学会等名
      日本音響学会2018年秋季研究発表会
    • 関連する報告書
      2018 実施状況報告書
  • [備考] ディープニューラルネットワークによる 舌亜全摘出者の音韻明瞭性改善の研究

    • URL

      https://site-330980-922-1588.mystrikingly.com/

    • 関連する報告書
      2021 実績報告書
  • [備考] ディープニューラルネットワークによる 舌亜全摘出者の音韻明瞭性改善の研究

    • URL

      http://site-330980-922-1588.mystrikingly.com/

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2018-04-23   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi