• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Musically inspired design of sign sounds for hard-of-hearing people

Research Project

Project/Area Number 21H03759
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 90010:Design-related
Research InstitutionUniversity of Tsukuba

Principal Investigator

寺澤 洋子  筑波大学, 図書館情報メディア系, 准教授 (70579094)

Co-Investigator(Kenkyū-buntansha) 山内 勝也  九州大学, 芸術工学研究院, 准教授 (10380718)
松井 淑恵  豊橋技術科学大学, 次世代半導体・センサ科学研究所, 教授 (10510034)
平賀 瑠美  筑波技術大学, 産業技術学部, 教授 (70327021)
安 啓一  筑波技術大学, 産業技術学部, 講師 (70407352)
Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2023: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Keywords音のデザイン / モーフィング / 音声 / 音色 / 楽器音 / 音デザイン / 聴覚 / 模擬難聴 / 高齢難聴 / 若年性難聴 / 難聴 / 音楽
Outline of Research at the Start

本研究では,音楽の多次元性を活用し,健聴者,難聴者の両方にとって「わかりやすく」「聞こえやすく」「美しい」サイン音をデザインするための手法を検討する。聴覚障害の程度が異なるリスナー群を設定し,リズム・ハーモニー・音色が「ちょうど良く感じられる」複雑さを明らかにする。この三要素を統合したサイン音について複数の要素がもたらす相乗効果を探り,リスナー群によってその相乗効果がどう異なるかを検討する。

Outline of Annual Research Achievements

本研究では,音楽の多次元性を活用し,健聴者,難聴者の両方にとって「わかりやすく」「聞こえやすく」「美しい」サイン音をデザインするための手法を検討する。適切な複雑度が明らかになればこれらの条件を満たすことができる,という仮説のもと,健聴者,高齢難聴者,重度若年性難聴者,模擬難聴者の4つのリスナー群を対象に,聴取実験を行う。2022-2023年度は、楽器の音色の弁別に関する聴取実験を健聴者と若年難聴者を対象に行ったほか、モーフィング音声に関する聴取実験を健聴者(および模擬難聴者)と高齢者を対象に行った。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

次年度に、音声特徴に関する模擬難聴実験を実施するために、刺激の策定を想定して、モーフィング音声に関する聴取実験と楽器音に関する聴取実験を行った。
音声モーフィング技術を用い、話者識別判断がどう変わるかを調査し、話者弁別の鍵となる鼻音子音を含む単語、含まない単語での比較を行った。音声を異なる話者間でモーフィングし、音響的特徴が変わるときの話者識別の変化を調べた。結果、4モーラ単語中3モーラ目が鼻音であっても話者識別は容易にならなかった。異なる単語を比較する場合、同じ単語を比較するよりも話者識別が難しくなることが示唆された。また、同じ話者の音声を「同じ話者」と同定することは、異なる話者の音声を「異なる話者」と弁別するよりも難しい可能性が示唆された。
また、音声モーフィング技術を用いた感情音声の実験も行った。基本周波数(F0)が感情知覚の手掛かりとなる一方、個人差が大きいことが示唆された。例えば、平静音声を「怒り」と判断する被験者がいた。感情認識の結果への話者の個人性の影響を減らすには、多くの話者によるデータセットが必要である。本研究では、演技未経験者の演技発話を収録し、台本の影響を調査した。
さらに、中度から重度の難聴者が16種類の楽器音を識別する難易度に関しての実験も行った。似た楽器(例えば、二つの弦楽器)の音色識別は異なる楽器(例えば、弦楽器と木管楽器)よりも難しいと仮定した。この仮説に基づき、音色の類似性に基づく楽器群の4つの代替楽器音を組み合わせたISIDを設計した。本研究では、20人の中度から重度の難聴者に対してISIDを用いた楽器音色識別テストを実施し、正答率と反応時間を比較した。その結果、ISIDの3つのレベルで有意な差が見られ、仮説を支持する結果が得られた。

Strategy for Future Research Activity

次年度は、音声・楽器音・合成音に関する聴取実験を進めるほか、近年のオンライン実験実施に関する探究も行い、よりスムーズな実験手法の構築を検討する。

Report

(2 results)
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (25 results)

All 2022 2021 Other

All Int'l Joint Research (3 results) Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (20 results) (of which Int'l Joint Research: 5 results)

  • [Int'l Joint Research] KTH Royal Institute of Technology(スウェーデン)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] Stanford University/Columbia College Chicago(米国)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] University of Amsterdam(オランダ)

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Music in Quarantine: Connections Between Changes in Lifestyle, Psychological States, and Musical Behaviors During COVID-19 Pandemic2021

    • Author(s)
      Terasawa Hiroko、Matsubara Masaki、Goudarzi Visda、Sadakata Makiko
    • Journal Title

      Frontiers in Psychology

      Volume: 12 Pages: 1-18

    • DOI

      10.3389/fpsyg.2021.689505

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Collaborating in Isolation: Assessing the Effects of the Covid-19 Pandemic on Patterns of Collaborative Behavior Among Working Musicians2021

    • Author(s)
      Fram Noah R.、Goudarzi Visda、Terasawa Hiroko、Berger Jonathan
    • Journal Title

      Frontiers in Psychology

      Volume: 12 Pages: 1-16

    • DOI

      10.3389/fpsyg.2021.674246

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] モーフィング音声を用いた話者の個人性知覚の調査: 鼻音の有無・発話文の同異による影響2022

    • Author(s)
      内堀颯太, 河原英紀, 松井淑恵
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 演技未経験者の感情音声の演技発話における台本の影響2022

    • Author(s)
      坂下 尚史, 河原 英紀, 松井淑恵
    • Organizer
      日本音響学会2022年秋季研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Design and Evaluation of Instrument Sound Identification Difficulty for the Deaf and Hard-of Hearing.2022

    • Author(s)
      Shiho Akaki, Rumi Hiraga, Keiichi Yasu, Keiji Tabuchi, and Hiroko Terasawa
    • Organizer
      the 2022 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022).
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 高齢者と模擬難聴システムを用いた模擬高齢者による異聴傾向の比較2022

    • Author(s)
      本間 雄太, 村山 凛太朗, 松井 淑恵
    • Organizer
      日本音響学会2022年春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 聴力が認知負荷に及ぼす影響:模擬難聴による検討2022

    • Author(s)
      村山 凛太朗, 松井淑恵
    • Organizer
      日本音響学会2022年春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 繰り返し聞いてわずらわしさを感じる音に関するアンケート調査2022

    • Author(s)
      角野美帆, 山内勝也
    • Organizer
      日本音響学会2022年春季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 日常生活の中で「繰り返し聞いてわずらわしい音」に関するアンケート調査2022

    • Author(s)
      角野美帆, 山内勝也
    • Organizer
      日本音響学会 騒音・振動研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 様々な声や場面を想定した聴覚障害者のための聞き取り訓練システムの検討2022

    • Author(s)
      芝菜月, 安啓一, 平賀瑠美
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 聴覚障害者のメロディ認知におけるピッチ変形とリズム変形の効果2022

    • Author(s)
      三井颯人,若狭健太,平賀瑠美,安啓一,田渕経司,寺澤洋子
    • Organizer
      情報処理学会アクセシビリティ研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 聴覚障害者の楽器音認知に関する検討-楽器分類に着目して2022

    • Author(s)
      赤木志帆, 森山大地, 若狭健太, 平賀瑠美, 安啓一, 田渕経司, 寺澤洋子
    • Organizer
      情報処理学会アクセシビリティ研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 聴覚障害者に向けた歌唱時のピッチの可視化訓練システムの提案2022

    • Author(s)
      永田 優志 , 安 啓一 , 平賀 瑠美
    • Organizer
      日本音響学会聴覚研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] モーフィング音声を用いた話者の類似性判断と同定判断の比較2021

    • Author(s)
      内堀 颯太, 松井淑恵
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 基本周波数またはスペクトルレベルをモーフィングした感情音声に対する感情知覚2021

    • Author(s)
      坂下尚史, 河原 英紀, 松井淑恵
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 未知なるサイン音のデザイン方法に関する探索的検討 -設計過程の分析-2021

    • Author(s)
      村木亜未香, 小越安奈, 山内勝也
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 未知なるサイン音のデザイン方法に関する探索的検討 -評価と統合的分析-2021

    • Author(s)
      村木亜未香, 小越安奈, 山内勝也
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] サイン音の継続聴取によるわずらわしさへの影響2021

    • Author(s)
      角野美帆, 山内勝也, 城戸恵美子, 山崎友賀, 山田亘
    • Organizer
      日本音響学会2021年秋季研究発表会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Consideration on the Difficulty of Timbre Identification of Musical Instrument Sounds for Hearing Training of the Hearing Impaired2021

    • Author(s)
      Shiho Akaki, Daichi Moriyama, Kenta Wakasa, Rumi Hiraga, Keiichi Yasu, Keiji Tabuchi, and Hiroko Terasawa
    • Organizer
      The 3rd Japan-Taiwan Symposium on Psychological and Physiological Acoustics Jointly held with ASJ Auditory Research Meeting
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Towards Computational Analysis of Singing Technique for Music Information Retrieval: A Progress Report of Building Dataset and Statistical Analysis2021

    • Author(s)
      Yuya Yamamoto, Daichi Moriyama, Juhan Nam, and Hiroko Terasawa
    • Organizer
      The 3rd Japan-Taiwan Symposium on Psychological and Physiological Acoustics Jointly held with ASJ Auditory Research Meeting
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Corpus Design and Automatic Speech Recognition for Deaf and Hard-Of-Hearing People2021

    • Author(s)
      A. Kobayashi, K. Yasu, H. Nishizaki, N. Kitaoka
    • Organizer
      Proceedings of the 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Investigating Time-Frequency Representations for Audio Feature Extraction in Singing Technique Classification2021

    • Author(s)
      Yuya Yamamoto, Juhan Nam, Hiroko Terasawa, and Yuzuru Hiraga
    • Organizer
      Proceedings of the 2021 Asia Pacific Signal and Information Processing Association Annual Summit and Conference
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi