• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

聴覚特性に基づく明瞭音声の客観指標と音声聴覚支援手法の開発

Research Project

Project/Area Number 16H01734
Research InstitutionWakayama University

Principal Investigator

入野 俊夫  和歌山大学, システム工学部, 教授 (20346331)

Co-Investigator(Kenkyū-buntansha) 吐師 道子  県立広島大学, 保健福祉学部(三原キャンパス), 教授 (40347779)
津崎 実  京都市立芸術大学, 音楽学部, 教授 (60155356)
岡本 康秀  慶應義塾大学, 医学部(信濃町), 客員講師 (10317224)
松井 淑恵  和歌山大学, システム工学部, 助教 (10510034)
戸田 智基  名古屋大学, 情報基盤センター, 教授 (90403328)
河原 英紀  和歌山大学, 学内共同利用施設等, 名誉教授 (40294300)
坂野 秀樹  名城大学, 理工学部, 准教授 (20335003)
森勢 将雅  山梨大学, 総合研究部, 助教 (60510013)
西村 竜一  和歌山大学, システム工学部, 助教 (00379611)
榊原 健一  北海道医療大学, リハビリテーション科学部, 准教授 (80396168)
水町 光徳  九州工業大学, 大学院工学研究院, 准教授 (90380740)
Project Period (FY) 2016-04-01 – 2020-03-31
Keywords明瞭音声 / 音声明瞭度客観指標 / 模擬難聴 / 補聴信号処理 / 音声分析合成 / 実時間音声信号処理 / 言語聴覚士養成課程 / 発話訓練
Outline of Annual Research Achievements

目標達成のための4研究項目を推進し、成果を得た。
【1】聴覚信号処理: ガンマチャープ聴覚フィルタバンク(dcGC-FB)を、変調フィルタバンクを用いた音声客観評価手法(sEPSM)に導入し、現在広く知られている評価手法STOI, CSII, HASPIよりも予測精度が良いこと示した。さらに、これらの指標と置き換え可能な、原音声を基準音とした新客観音声明瞭度指標"GEDI"(ジェダイ)の開発に成功した。
【2】難聴/健聴特性解明・主観評価: 非対称レベルノッチ雑音マスキング法による聴覚末梢系の周波数分析機能推定に関して、老人性難聴者の測定と推定を行い、論文化の検討を進めた。測定時間(∝測定データ数)削減を試み、全測定の約4分の1程度でできることを示した。これらの実験や模擬難聴者の測定から、従来の推定法の問題点を浮き彫りにすることができた。音声からの寸法知覚に関して、スペクトル傾斜の影響を有声音でも調べ、計算モデルも提案した。さらに、健聴者でも音響暴露により一時的な聴力低下が起こることを、周波数追随脳幹反応 (FFR)や内上側オリーブ蝸牛反射(MOCR)測定により明らかにした。
【3】音声音響信号処理: 模擬難聴システム(以下HIsim。元はMATLAB版)に関して、real-time動作可能なc言語版を作成した。それを用いてWebブラウザで利用できるHTML5+CGI版も構築した。雑音環境下での明瞭度向上を音声合成系で検討した。
【4】教育評価・明瞭音声データ:  言語聴覚士養成課程における演習授業で、模擬難聴システムの利用し(1)難聴者の聞こえにくさの体験、(2)言語・楽器・環境音の聞こえ変化、(3)自分の声の模擬難聴音のフィードバックによる発話の向上、の3点に関して演習した。さらに(3)に関しては別途心理実験も行い、訓練前後の声の収録、第3者評価や特徴量の変化を見た。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

以下に示すように、1年目にもかかわらず数多くの画期的成果を出すことができた。
【1】聴覚信号処理に関して、新しい音声明瞭度客観評価指標"GEDI"を考案した。従来法と同等以上の性能で、将来的には老人性難聴者の明瞭度予測にも発展させられる画期的な成果である。【2】難聴/健聴特性解明・主観評価に関して、聴覚末梢系特性の推定結果をまとめた。老人性難聴者の測定も行い、推定法の問題点の把握もすることができた。【3】音声音響信号処理: 模擬難聴システムHIsimのreal-time動作版とそれを用いたWeb-base版の開発を行った。多機関、多人数での演習活用への展開が可能となり、画期的である。さらに、国際共同研究先のPython版との統合と実験に関してのミーティングを開催し、意識の共有化と今後の展開に関する議論をした。【4】教育評価・明瞭音声データ: 言語聴覚士養成課程において模擬難聴システムを用いた演習を行った。また、自分の声の模擬難聴音のフィードバックを聞き、発話の向上させる新しい手法を提案し、予備実験で効果を確認した。

Strategy for Future Research Activity

【1】新音声明瞭度客観評価指標"GEDI"の有効性を確認するために、時間的に変動する様々な雑音に対する評価実験を行う。その結果を参考にさらなる改良を重ねる。【2】聴覚末梢系特性の推定方法に関し、従来行われていた範囲よりも十分広いダイナミックレンジでノッチ雑音マスキング実験を実施し、低音圧レベルだけで推定した場合が、高音圧レベルだけの場合とどこが違うのか明確にする。その上で、整合性のある聴覚特性を推定するための手法の改良を進める。これは、従来からの定説を覆す可能性のある試みである。この結果を受けて、老人性難聴者の末梢以降の聴覚特性に関しても実験を進める。【3】模擬難聴システムのreal-time動作版とWeb-base版をさらに改良し、デモで活用する。さらに、国際共同研究先のPython版との統一化を進める。また、音声合成系に"GEDI"を組み合わせ、明瞭度改善を図る枠組みに関して検討する。【4】言語聴覚士による模擬難聴の直接的評価や、養成課程における教育効果の評価、発話向上実験を進める。明瞭音声解明のためのデータ収集を行う。

  • Research Products

    (28 results)

All 2017 2016 Other

All Int'l Joint Research (2 results) Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 2 results,  Acknowledgement Compliant: 1 results) Presentation (23 results) (of which Int'l Joint Research: 8 results,  Invited: 3 results) Remarks (1 results)

  • [Int'l Joint Research] CNRS, Lyon University(フランス)

    • Country Name
      FRANCE
    • Counterpart Institution
      CNRS, Lyon University
  • [Int'l Joint Research] Cambridge University(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      Cambridge University
  • [Journal Article] The effect of peripheral compression on syllable perception measured with a hearing impairment simulator2016

    • Author(s)
      Toshie Matsui, Toshio Irino, Misaki Nagae, Hideki Kawahara, and Roy D. Patterson
    • Journal Title

      Advances in Experimental Medicine and Biology

      Volume: 894 Pages: 307-314

    • DOI

      10.1007/978-3-319-25474-6_32

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] D4C, a band-aperiodicity estimator for high-quality speech synthesis2016

    • Author(s)
      Masanori Morise
    • Journal Title

      Speech Communication

      Volume: 84 Pages: 57-65

    • DOI

      https://doi.org/10.1016/j.specom.2016.09.001

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Presentation] 強大音への暴露が周波数追随反応と耳音響放射に与える一過性の影響―バイオリニストを対象とした検討―2017

    • Author(s)
      大塚翔, 津崎実, 田中里弥, 古川茂人
    • Organizer
      日本音響学会聴覚研究会
    • Place of Presentation
      京都市芸大(京都府京都市)
    • Year and Date
      2017-03-27
  • [Presentation] 非対称レベルノッチ雑音マスキング法による高齢者の聴覚フィルタ形状と圧縮特性の推定2017

    • Author(s)
      稲部葉月,松井淑恵,西村友里,Roy D. Patterson,入野俊夫
    • Organizer
      日本音響学会:春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15 – 2017-03-17
  • [Presentation] 統計的音声波形変換に基づく雑音環境下における音声了解度向上2017

    • Author(s)
      武山 知弘, 小林 和弘, 田尻 祐介, 戸田 智基, 武田 一哉
    • Organizer
      日本音響学会:春季研究発表会
    • Place of Presentation
      明治大学(神奈川県川崎市)
    • Year and Date
      2017-03-15 – 2017-03-17
  • [Presentation] ディープニューラルネットワークによる広帯域ビームフォーマの提案2017

    • Author(s)
      折口槙弥, 水町光徳
    • Organizer
      日本音響学会:春季研究発表会
    • Place of Presentation
      明治大学 (神奈川県川崎市)
    • Year and Date
      2017-03-15 – 2017-03-17
  • [Presentation] 音声波形に対する動的特徴の強調処理を用いた明瞭性向上手法の改良2017

    • Author(s)
      小原大輝, 坂野秀樹, 旭健作
    • Organizer
      日本音響学会:春季研究発表会
    • Place of Presentation
      明治大学 (神奈川県川崎市)
    • Year and Date
      2017-03-15 – 2017-03-17
  • [Presentation] Sub-band optimization of neural network-based broadband beamformer2017

    • Author(s)
      Y. Nishijima, M. Origuchi, M. Mizumachi
    • Organizer
      Youngnam-Kyushu Joint Conference on Acoustics 2017
    • Place of Presentation
      Busan (Korea)
    • Year and Date
      2017-02-04
  • [Presentation] 高い雑音耐性と推定精度を両立する基本周波数推定法の提案と評価2016

    • Author(s)
      森勢将雅
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      NTT武蔵野研究開発センタ(東京都武蔵野市)
    • Year and Date
      2016-12-20 – 2016-12-21
  • [Presentation] 難聴者に聞こえやすい音声特徴 ~模擬難聴を用いた発声の振幅変調分析~2016

    • Author(s)
      吉田駿, 山本克彦,西村竜一, 松井淑恵,入野俊夫
    • Organizer
      日本音響学会関西支部,第19回関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学 (大阪府吹田市)
    • Year and Date
      2016-12-18
  • [Presentation] 非対称レベルノッチ雑音マスキング法における測定点削減討2016

    • Author(s)
      西村友里,入野俊夫,松井淑恵,Roy D. Patterson
    • Organizer
      日本音響学会関西支部,第19回関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学 (大阪府吹田市)
    • Year and Date
      2016-12-18
  • [Presentation] オージオグラムを動かして聞く! ~Web アプリケーションとしての模擬難聴システムを目指して~2016

    • Author(s)
      松井淑恵,米満麻弥,西村竜一,入野俊夫
    • Organizer
      日本音響学会関西支部,第19回関西支部若手研究者交流研究発表会
    • Place of Presentation
      関西大学 (大阪府吹田市)
    • Year and Date
      2016-12-18
  • [Presentation] Characterizing impairments in compression and filter shape to establish their role in hidden hearing loss2016

    • Author(s)
      Toshio Irino, Toshie Matsui, Roy D. Patterson
    • Organizer
      ASA-ASJ joint meeting 2016
    • Place of Presentation
      Honolulu, Hawaii (USA)
    • Year and Date
      2016-11-28 – 2016-12-02
    • Int'l Joint Research / Invited
  • [Presentation] Analysis of acoustic features for speech intelligibility prediction models2016

    • Author(s)
      Katsuhiko Yamamoto, Toshio Irino, Toshie Matsui, Shoko Araki, Keisuke Kinoshita, Tomohiro Nakatani
    • Organizer
      ASA-ASJ joint meeting 2016
    • Place of Presentation
      Honolulu, Hawaii (USA)
    • Year and Date
      2016-11-28 – 2016-12-02
    • Int'l Joint Research
  • [Presentation] Estimation of auditory compression and filter shape of elderly listeners using notched noise masking2016

    • Author(s)
      Toshie Matsui, Toshio Irino, Hazuki Inabe, Yuri Nishimura, Roy D. Patterson
    • Organizer
      ASA-ASJ joint meeting 2016
    • Place of Presentation
      Honolulu, Hawaii (USA)
    • Year and Date
      2016-11-28 – 2016-12-02
    • Int'l Joint Research
  • [Presentation] Superdirective non-linear beamforming with deep neural network2016

    • Author(s)
      M. Mizumachi, M. Origuchi
    • Organizer
      ASA-ASJ Joint Meeting 2016
    • Place of Presentation
      Honolulu, Hawaii (USA)
    • Year and Date
      2016-11-28 – 2016-12-02
    • Int'l Joint Research
  • [Presentation] Study on intelligibility improvement method based on subband waveform processing focusing on dynamic feature of speech2016

    • Author(s)
      Hiroki Kohara, Hideki Banno and Kensaku Asahi
    • Organizer
      ASA-ASJ Joint Meeting 2016
    • Place of Presentation
      Honolulu, Hawaii (USA)
    • Year and Date
      2016-11-28 – 2016-12-02
    • Int'l Joint Research
  • [Presentation] Acoustic Scale Processing in the Auditory System2016

    • Author(s)
      Toshio Irino
    • Organizer
      RIMS Joint Research & CoopMath 2016, Wavelet analysis and signal processing
    • Place of Presentation
      京都大学(京都府京都市)
    • Year and Date
      2016-10-24 – 2016-10-25
    • Invited
  • [Presentation] 音声明瞭度予測法 dcGC-sEPSM の諸検討: 評価用雑音の特性と予測精度への影響2016

    • Author(s)
      山本 克彦,入野 俊夫,松井 淑恵,荒木 章子,木下 慶介,中谷 智広
    • Organizer
      日本音響学会:秋季研究発表会
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-14 – 2016-09-16
  • [Presentation] 加齢による絶対音感シフトと脳波の周波数追随反応の関係2016

    • Author(s)
      津崎実 田中里弥
    • Organizer
      日本音響学会:秋季研究発表会
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-14 – 2016-09-16
  • [Presentation] 音声の動的特徴の強調による帯域分割処理を用いた高品質明瞭性向上手法の検討2016

    • Author(s)
      小原 大輝, 坂野 秀樹, 旭 健作
    • Organizer
      日本音響学会:秋季研究発表会
    • Place of Presentation
      富山大学(富山県富山市)
    • Year and Date
      2016-09-14 – 2016-09-16
  • [Presentation] Speech intelligibility prediction based on the envelope power spectrum model with the dynamic compressive gammachirp auditory filterbank2016

    • Author(s)
      Katsuhiko Yamamoto, Toshio Irino, Toshie Matsui, Shoko Araki, Keisuke Kinoshita, and Tomohiro Nakatani
    • Organizer
      Interspeech 2016
    • Place of Presentation
      San Francisco (USA)
    • Year and Date
      2016-09-09 – 2016-09-12
    • Int'l Joint Research
  • [Presentation] TUSK: A framework for overviewing the performance of F0 estimators2016

    • Author(s)
      Masanori Morise and Hideki Kawahara
    • Organizer
      Interspeech 2016
    • Place of Presentation
      San Francisco (USA)
    • Year and Date
      2016-09-08 – 2016-09-12
    • Int'l Joint Research
  • [Presentation] The perceptual ends of the periodicity; but of what periodicity?2016

    • Author(s)
      Minoru Tsuzaki, Sawa Hanada, Junko Sonoda, Satomi Tanaka, and Toshio Irino
    • Organizer
      Internoise 2016
    • Place of Presentation
      Hamburg (Germany)
    • Year and Date
      2016-08-21 – 2016-08-24
    • Int'l Joint Research / Invited
  • [Presentation] 動的圧縮型ガンマチャープフィルタバンクを用いた音声明瞭度予測法:強調音声を対象とした比較検討2016

    • Author(s)
      山本 克彦,入野 俊夫,松井 淑恵,荒木 章子,木下 慶介,中谷 智広
    • Organizer
      情報処理学会, 音学シンポジウム2016
    • Place of Presentation
      東海大学(東京都港区)
    • Year and Date
      2016-05-21 – 2016-05-22
  • [Remarks] IRINO Toshio (Auditory Media Lab.)

    • URL

      http://www.wakayama-u.ac.jp/~irino/

URL: 

Published: 2018-01-16   Modified: 2022-08-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi