• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A "easy hearing" public address system with microphone network and high quality speech synthesis

Research Project

Project/Area Number 19K15146
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 23020:Architectural environment and building equipment-related
Research InstitutionMuroran Institute of Technology

Principal Investigator

Kobayashi Yosuke  室蘭工業大学, 大学院工学研究科, 助教 (10735103)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2019: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Keywords屋外拡声システム / 音声了解度 / 音声品質 / 音声合成 / 屋外拡声 / 聴き取りにくさ / IoT / 単語了解度 / 拡声システム / 機械学習
Outline of Research at the Start

拡声システムは放送するフィールドの残響などが影響して,「元の音声が明瞭な発話であっても」聴き取りにくくなることがあり得る。また,拡声フィールドから遠い放送室からの放送では,実際に拡声された音声を聴き取ることができないので,「不明瞭な発話がなかなか改善されない」問題がある。本研究では,この問題を解決するために聴取地点に設置されているマイクロホンネットワークで品質を予測した結果を音声放送の改善に利用することで,誰もが聴き取りやすい拡声システムの実現を目指す。

Outline of Final Research Achievements

In order to improve the listening of outdoor public address (PA) system, we conducted a basic study on a speech quality prediction using multiple microphones and a speech synthesis that feeds back the PA speech quality. First, we developed a prototype using a microphone array for PA speech measurement. Next, we developed a speech quality prediction model that uses deep learning. Finally, for speech synthesis, we implemented a statistical speech synthesis model that complements the high frequencies filtered by wireless communication. In this study, only these unit tests were performed. However, if a PA system that cooperates in a complex manner is realized, it is thought that better hearing will be realized.

Academic Significance and Societal Importance of the Research Achievements

屋外拡声に聴き取りにくいことがあることは多くの人が理解していることである。なぜ聴こえにくいかの要因は騒音や風の影響,残響(響き)の影響など多数ある。この問題を解決するには,どの程度聞き取りにくいのかを定量化する事と,この値をフィードバックしながら聴こえやすく音声を処理し直すことの二つが必要である。本研究では,拡声音声の計測(録音),計測信号の品質評価,品質値の音声合成へのフィードバックを一体的に行うシステムの基礎検討をおこなった。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (16 results)

All 2021 2020 2019

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (14 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Listening difficulty estimation model using short-time objective intelligibility measure for outdoor public address systems2020

    • Author(s)
      Keita Noguchi, Yosuke Kobayashi, Jay Kishigami and Kiyohiro Kurisu
    • Journal Title

      Acoustical Science and Technology

      Volume: 41 Pages: 420-422

    • NAID

      130007782719

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Japanese speech intelligibility estimation and prediction using objective intelligibility indexes under noisy conditions2019

    • Author(s)
      Yosuke Kobayashi and Kazuhiro Kondo
    • Journal Title

      Applied Acoustics

      Volume: 156 Pages: 327-335

    • Related Report
      2019 Research-status Report
    • Peer Reviewed
  • [Presentation] EVALUATION OF SPEECH QUALITY OF OUTDOOR PUBLIC ADDRESS SYSTEMS USING MACHINE LEARNING2021

    • Author(s)
      Kobayashi Yosuke, Noguchi Keita, Kishigami Junichi and Kurisu Kiyohiro
    • Organizer
      the 27th International Congress on Sound and Vibration
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 屋外での長距離伝搬条件で計測した HRIR を畳み込んだ拡声音声の了解度評価2021

    • Author(s)
      小林洋介, 野口啓太, 栗栖清浩
    • Organizer
      日本音響学会2021年春季研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] バイノーラル録音による屋外拡声スピーカ音の主観評価2020

    • Author(s)
      小林洋介, 野口啓太, 鳴野寛, 栗栖清浩,
    • Organizer
      日本音響学会2020年秋季研究発表会
    • Related Report
      2020 Research-status Report
  • [Presentation] 原音予測モデルを利用した客観音声了解度指標の提案2020

    • Author(s)
      小林洋介, 近藤和弘
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] pix2pix話者変換を用いた狭帯域音声の高域補間2020

    • Author(s)
      小林洋介, 山部匠, 野口啓太, 赤泊寛和
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] 中間特徴量を用いた屋外拡声音評価システムの実装2020

    • Author(s)
      野口啓太, 小林洋介, 岸上順一
    • Organizer
      日本音響学会2020年春季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] Comparison of STOI-type Intermediate Feature for Listening Difficulty Rating Prediction Model2019

    • Author(s)
      Keita Noguch, Yosuke Kobayashi, Jay Kishigami and Kiyohiro Kurisu
    • Organizer
      The 8th IEEE Global Conference on Consumer Electronics
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] The 8th IEEE Global Conference on Consumer Electronics2019

    • Author(s)
      Hirokazu Akadomari, Yuhi Sato,and Yosuke Kobayashi
    • Organizer
      The 8th IEEE Global Conference on Consumer Electronics
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 屋外拡声品質予測モデルの中間特徴量の検討2019

    • Author(s)
      野口啓太, 小林洋介, 岸上順一, 栗栖清浩
    • Organizer
      情報処理学会SIGMUS
    • Related Report
      2019 Research-status Report
  • [Presentation] STOI型客観了解度指標を用いた屋外拡声音の聴き取りにくさ予測モデルの評価2019

    • Author(s)
      野口啓太, 小林洋介, 岸上順一, 栗栖清浩
    • Organizer
      電子情報通信学会応用音響研究会
    • Related Report
      2019 Research-status Report
  • [Presentation] STOI型客観了解度指標を用いた主観評価予測モデルの詳細評価2019

    • Author(s)
      野口啓太, 小林洋介, 岸上順一, 栗栖清浩
    • Organizer
      日本音響学会2019年秋季研究発表会
    • Related Report
      2019 Research-status Report
  • [Presentation] Elastic Netを用いた屋外拡声音の聴き取りにくさ予測2019

    • Author(s)
      野口啓太, 小林洋介, 岸上順一, 栗栖清浩
    • Organizer
      令和元年度電気・情報関係学会北海道支部連合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 2段階声質変換システムにおける学習文章数の比較2019

    • Author(s)
      赤泊寛和, 佐藤裕飛, 小林洋介
    • Organizer
      令和元年度電気・情報関係学会北海道支部連合大会
    • Related Report
      2019 Research-status Report
  • [Presentation] pix2pix話者変換を用いた狭帯域音声の高域補間2019

    • Author(s)
      山部匠, 野口啓太, 赤泊寛和, 小林洋介
    • Organizer
      令和元年度電気・情報関係学会北海道支部連合大会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi