• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

聞こえづらい人にもわかりやすい音楽的なサイン音のデザインに関する研究

研究課題

研究課題/領域番号 21H03759
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分90010:デザイン学関連
研究機関筑波大学

研究代表者

寺澤 洋子  筑波大学, 図書館情報メディア系, 准教授 (70579094)

研究分担者 山内 勝也  九州大学, 芸術工学研究院, 准教授 (10380718)
松井 淑恵  豊橋技術科学大学, 次世代半導体・センサ科学研究所, 教授 (10510034)
平賀 瑠美  筑波技術大学, 産業技術学部, 教授 (70327021)
安 啓一  筑波技術大学, 産業技術学部, 講師 (70407352)
研究期間 (年度) 2021-04-01 – 2024-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
9,620千円 (直接経費: 7,400千円、間接経費: 2,220千円)
2023年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
2022年度: 2,990千円 (直接経費: 2,300千円、間接経費: 690千円)
2021年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
キーワード音のデザイン / モーフィング / 音声 / 音色 / 楽器音 / 音デザイン / 聴覚 / 模擬難聴 / 高齢難聴 / 若年性難聴 / 難聴 / 音楽
研究開始時の研究の概要

本研究では,音楽の多次元性を活用し,健聴者,難聴者の両方にとって「わかりやすく」「聞こえやすく」「美しい」サイン音をデザインするための手法を検討する。聴覚障害の程度が異なるリスナー群を設定し,リズム・ハーモニー・音色が「ちょうど良く感じられる」複雑さを明らかにする。この三要素を統合したサイン音について複数の要素がもたらす相乗効果を探り,リスナー群によってその相乗効果がどう異なるかを検討する。

研究実績の概要

本研究では,音楽の多次元性を活用し,健聴者,難聴者の両方にとって「わかりやすく」「聞こえやすく」「美しい」サイン音をデザインするための手法を検討する。適切な複雑度が明らかになればこれらの条件を満たすことができる,という仮説のもと,健聴者,高齢難聴者,重度若年性難聴者,模擬難聴者の4つのリスナー群を対象に,聴取実験を行う。2022-2023年度は、楽器の音色の弁別に関する聴取実験を健聴者と若年難聴者を対象に行ったほか、モーフィング音声に関する聴取実験を健聴者(および模擬難聴者)と高齢者を対象に行った。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

次年度に、音声特徴に関する模擬難聴実験を実施するために、刺激の策定を想定して、モーフィング音声に関する聴取実験と楽器音に関する聴取実験を行った。
音声モーフィング技術を用い、話者識別判断がどう変わるかを調査し、話者弁別の鍵となる鼻音子音を含む単語、含まない単語での比較を行った。音声を異なる話者間でモーフィングし、音響的特徴が変わるときの話者識別の変化を調べた。結果、4モーラ単語中3モーラ目が鼻音であっても話者識別は容易にならなかった。異なる単語を比較する場合、同じ単語を比較するよりも話者識別が難しくなることが示唆された。また、同じ話者の音声を「同じ話者」と同定することは、異なる話者の音声を「異なる話者」と弁別するよりも難しい可能性が示唆された。
また、音声モーフィング技術を用いた感情音声の実験も行った。基本周波数(F0)が感情知覚の手掛かりとなる一方、個人差が大きいことが示唆された。例えば、平静音声を「怒り」と判断する被験者がいた。感情認識の結果への話者の個人性の影響を減らすには、多くの話者によるデータセットが必要である。本研究では、演技未経験者の演技発話を収録し、台本の影響を調査した。
さらに、中度から重度の難聴者が16種類の楽器音を識別する難易度に関しての実験も行った。似た楽器(例えば、二つの弦楽器)の音色識別は異なる楽器(例えば、弦楽器と木管楽器)よりも難しいと仮定した。この仮説に基づき、音色の類似性に基づく楽器群の4つの代替楽器音を組み合わせたISIDを設計した。本研究では、20人の中度から重度の難聴者に対してISIDを用いた楽器音色識別テストを実施し、正答率と反応時間を比較した。その結果、ISIDの3つのレベルで有意な差が見られ、仮説を支持する結果が得られた。

今後の研究の推進方策

次年度は、音声・楽器音・合成音に関する聴取実験を進めるほか、近年のオンライン実験実施に関する探究も行い、よりスムーズな実験手法の構築を検討する。

報告書

(2件)
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (25件)

すべて 2022 2021 その他

すべて 国際共同研究 (3件) 雑誌論文 (2件) (うち国際共著 2件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (20件) (うち国際学会 5件)

  • [国際共同研究] KTH Royal Institute of Technology(スウェーデン)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] Stanford University/Columbia College Chicago(米国)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] University of Amsterdam(オランダ)

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Music in Quarantine: Connections Between Changes in Lifestyle, Psychological States, and Musical Behaviors During COVID-19 Pandemic2021

    • 著者名/発表者名
      Terasawa Hiroko、Matsubara Masaki、Goudarzi Visda、Sadakata Makiko
    • 雑誌名

      Frontiers in Psychology

      巻: 12 ページ: 1-18

    • DOI

      10.3389/fpsyg.2021.689505

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Collaborating in Isolation: Assessing the Effects of the Covid-19 Pandemic on Patterns of Collaborative Behavior Among Working Musicians2021

    • 著者名/発表者名
      Fram Noah R.、Goudarzi Visda、Terasawa Hiroko、Berger Jonathan
    • 雑誌名

      Frontiers in Psychology

      巻: 12 ページ: 1-16

    • DOI

      10.3389/fpsyg.2021.674246

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] モーフィング音声を用いた話者の個人性知覚の調査: 鼻音の有無・発話文の同異による影響2022

    • 著者名/発表者名
      内堀颯太, 河原英紀, 松井淑恵
    • 学会等名
      日本音響学会聴覚研究会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 演技未経験者の感情音声の演技発話における台本の影響2022

    • 著者名/発表者名
      坂下 尚史, 河原 英紀, 松井淑恵
    • 学会等名
      日本音響学会2022年秋季研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Design and Evaluation of Instrument Sound Identification Difficulty for the Deaf and Hard-of Hearing.2022

    • 著者名/発表者名
      Shiho Akaki, Rumi Hiraga, Keiichi Yasu, Keiji Tabuchi, and Hiroko Terasawa
    • 学会等名
      the 2022 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC 2022).
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 高齢者と模擬難聴システムを用いた模擬高齢者による異聴傾向の比較2022

    • 著者名/発表者名
      本間 雄太, 村山 凛太朗, 松井 淑恵
    • 学会等名
      日本音響学会2022年春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 聴力が認知負荷に及ぼす影響:模擬難聴による検討2022

    • 著者名/発表者名
      村山 凛太朗, 松井淑恵
    • 学会等名
      日本音響学会2022年春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 繰り返し聞いてわずらわしさを感じる音に関するアンケート調査2022

    • 著者名/発表者名
      角野美帆, 山内勝也
    • 学会等名
      日本音響学会2022年春季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 日常生活の中で「繰り返し聞いてわずらわしい音」に関するアンケート調査2022

    • 著者名/発表者名
      角野美帆, 山内勝也
    • 学会等名
      日本音響学会 騒音・振動研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 様々な声や場面を想定した聴覚障害者のための聞き取り訓練システムの検討2022

    • 著者名/発表者名
      芝菜月, 安啓一, 平賀瑠美
    • 学会等名
      日本音響学会聴覚研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 聴覚障害者のメロディ認知におけるピッチ変形とリズム変形の効果2022

    • 著者名/発表者名
      三井颯人,若狭健太,平賀瑠美,安啓一,田渕経司,寺澤洋子
    • 学会等名
      情報処理学会アクセシビリティ研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 聴覚障害者の楽器音認知に関する検討-楽器分類に着目して2022

    • 著者名/発表者名
      赤木志帆, 森山大地, 若狭健太, 平賀瑠美, 安啓一, 田渕経司, 寺澤洋子
    • 学会等名
      情報処理学会アクセシビリティ研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 聴覚障害者に向けた歌唱時のピッチの可視化訓練システムの提案2022

    • 著者名/発表者名
      永田 優志 , 安 啓一 , 平賀 瑠美
    • 学会等名
      日本音響学会聴覚研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] モーフィング音声を用いた話者の類似性判断と同定判断の比較2021

    • 著者名/発表者名
      内堀 颯太, 松井淑恵
    • 学会等名
      日本音響学会2021年秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 基本周波数またはスペクトルレベルをモーフィングした感情音声に対する感情知覚2021

    • 著者名/発表者名
      坂下尚史, 河原 英紀, 松井淑恵
    • 学会等名
      日本音響学会2021年秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 未知なるサイン音のデザイン方法に関する探索的検討 -設計過程の分析-2021

    • 著者名/発表者名
      村木亜未香, 小越安奈, 山内勝也
    • 学会等名
      日本音響学会2021年秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] 未知なるサイン音のデザイン方法に関する探索的検討 -評価と統合的分析-2021

    • 著者名/発表者名
      村木亜未香, 小越安奈, 山内勝也
    • 学会等名
      日本音響学会2021年秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] サイン音の継続聴取によるわずらわしさへの影響2021

    • 著者名/発表者名
      角野美帆, 山内勝也, 城戸恵美子, 山崎友賀, 山田亘
    • 学会等名
      日本音響学会2021年秋季研究発表会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Consideration on the Difficulty of Timbre Identification of Musical Instrument Sounds for Hearing Training of the Hearing Impaired2021

    • 著者名/発表者名
      Shiho Akaki, Daichi Moriyama, Kenta Wakasa, Rumi Hiraga, Keiichi Yasu, Keiji Tabuchi, and Hiroko Terasawa
    • 学会等名
      The 3rd Japan-Taiwan Symposium on Psychological and Physiological Acoustics Jointly held with ASJ Auditory Research Meeting
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Towards Computational Analysis of Singing Technique for Music Information Retrieval: A Progress Report of Building Dataset and Statistical Analysis2021

    • 著者名/発表者名
      Yuya Yamamoto, Daichi Moriyama, Juhan Nam, and Hiroko Terasawa
    • 学会等名
      The 3rd Japan-Taiwan Symposium on Psychological and Physiological Acoustics Jointly held with ASJ Auditory Research Meeting
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Corpus Design and Automatic Speech Recognition for Deaf and Hard-Of-Hearing People2021

    • 著者名/発表者名
      A. Kobayashi, K. Yasu, H. Nishizaki, N. Kitaoka
    • 学会等名
      Proceedings of the 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021)
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Investigating Time-Frequency Representations for Audio Feature Extraction in Singing Technique Classification2021

    • 著者名/発表者名
      Yuya Yamamoto, Juhan Nam, Hiroko Terasawa, and Yuzuru Hiraga
    • 学会等名
      Proceedings of the 2021 Asia Pacific Signal and Information Processing Association Annual Summit and Conference
    • 関連する報告書
      2021 実績報告書
    • 国際学会

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi