• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習による録音データ分析に基づく民俗音楽歌唱の歌唱方法の解明および復元

研究課題

研究課題/領域番号 23K20440
補助金の研究課題番号 21H00497 (2021-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2021-2023)
応募区分一般
審査区分 小区分01070:芸術実践論関連
研究機関北海道医療大学

研究代表者

榊原 健一  北海道医療大学, リハビリテーション科学部, 准教授 (80396168)

研究分担者 MOKHTARI Parham  富山県立大学, 情報工学部, 教授 (00395089)
後藤 多嘉緒  東京大学, 保健・健康推進本部, 助教 (20735930)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
千葉 伸彦  東京音楽大学, 音楽学部, 講師 (50862538)
研究期間 (年度) 2021-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
17,030千円 (直接経費: 13,100千円、間接経費: 3,930千円)
2025年度: 2,730千円 (直接経費: 2,100千円、間接経費: 630千円)
2024年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2023年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2022年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2021年度: 3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
キーワード民俗音楽歌唱 / 音声生理 / 歌唱法 / 声質 / 機械学習 / 発声法 / 音響分析
研究開始時の研究の概要

本研究では,ヒトが発声可能な声を網羅的に収録し,歌唱技法的特徴や生理的計測データを付加した発
声基本データベースを作成し,統計的機械学習の手法を用いて,過去の歌唱録音データにおいて用いられている発声方法を明らかにする.同時に,歌唱に用いられた異なる歌唱方法をクラスタリングにより分類し,教
師あり学習により推定された歌唱法と比較する.更に,推定された発声方法をもとに,過去の録音データの歌唱法を,現在の歌手に聴きながら即座に復唱する音声シャドーイングの手法により学修させ,歌唱者の身体動作レベルで復元する.

研究実績の概要

歌唱法の自動判定について,異なる声区の混合する歌唱データについて,方式を実装し方式評価をおこなった.
また,静穏でない場所での歌唱録音のための,音声測定方法について,様々な試験信号を実装して,性能の評価をおこなった. 歌唱録音の実用性を高めるために,対話的なインタフェースを作成し,音場計測を短時間に有効に実施するシステムを実装した.インパルス応答,マイクのキャリブレーション,臨界距離など録音時の機器設定に関する情報も対話的に確認することが可能である.
歌唱における声帯振動様式の間接的分析方法であるEGG信号の分析方法について,帯域フィルタ群に基づく新たな分析手法を開発,提案した.これにより頑健で高速なEGG信号の周期情報の抽出が可能となった.
瞬時周波数イベントに基づく音源情報表現の方法を提案し,EGGや音響信号を用いた声帯振動様式の推定について頑健かつ有効な方法を実装した.必ずしも構造化された倍音構造を持たない信号に対しても周期性を同定する方法により,特殊な歌唱方法や起声などの明確な基本周波数が定義されない信号のもつ周期性構造を明らかにすることが可能となった.これまで脆弱であったEGG-Oqの計算が頑健におこなえ,声質と関連するパラメータの有効な抽出方法を提案した.
歌唱における特殊な唱法について,戦後の民俗音楽歌唱,ポップス歌唱について調査し,様式の類型化をおこなった.声区の制御,foの制御,調音の意図的な逸脱などを含む特殊な歌唱法が時代とともにどのような変遷をしたかについて検討をおこなった.

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

歌唱の録音データの収集は進んでいるが,生理データ収集が十分にできていない.

今後の研究の推進方策

今年度は生理データの収集および分析方法の開発を進めていきたい.

報告書

(3件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (51件)

すべて 2024 2023 2022 2021

すべて 雑誌論文 (22件) (うち査読あり 7件、 オープンアクセス 7件) 学会発表 (29件) (うち国際学会 8件)

  • [雑誌論文] 瞬時周波数とイベントに基づく音源情報の表現について2024

    • 著者名/発表者名
      河原英紀, 榊原健一, 矢田部浩平
    • 雑誌名

      音声コミュニケーション研究会資料

      巻: 4 号: 1 ページ: n/a

    • DOI

      10.60274/asjsc.SC-2024-5

    • ISSN
      2758-2744
    • 年月日
      2024-01-19
    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 直交信号をインパルス応答とする帯域フィルタ群を用いたEGG信号の簡易な分析法について2024

    • 著者名/発表者名
      河原英紀, 榊原健一, 寺澤洋子
    • 雑誌名

      日本音響学会音声コミュニケーション研究会

      巻: 4(2)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 音声コミュニケーション環境の対話的試験ツールについて2023

    • 著者名/発表者名
      河原 英紀、榊原 健一、程島 奈緒、坂野 秀樹、北村 達也、天野 成昭
    • 雑誌名

      音声コミュニケーション研究会資料

      巻: 3 号: 2 ページ: n/a

    • DOI

      10.60274/asjsc.SC-2023-8

    • ISSN
      2758-2744
    • 年月日
      2023-02-24
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] 音声コミュニケーション教育・研究用の 対話的可視化・可聴化環境について2023

    • 著者名/発表者名
      河原 英紀、榊原 健一、安 啓一、小林 敬
    • 雑誌名

      音声コミュニケーション研究会資料

      巻: 3 号: 1 ページ: n/a

    • DOI

      10.60274/asjsc.SC-2023-4

    • ISSN
      2758-2744
    • 年月日
      2023-01-21
    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Singing Voice Range Profiling Toolbox with real-time interaction and its application to make recording data reusable2023

    • 著者名/発表者名
      H. Kawahara, K.-I. Sakakibara , K. Yatabe, M. Mizumachi, T. Kitamura
    • 雑誌名

      Proceedings of Stockholm Music Acoustic Conference 2023

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Simultaneous Measurement of Multiple Acoustic Attributes Using Structured Periodic Test Signals Including Music and Other Sound Materials2023

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • 雑誌名

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      巻: - ページ: 173-180

    • DOI

      10.1109/apsipaasc58517.2023.10317411

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] 聴覚刺激に対する基本周波数応答測定システムの離散フーリエ変換に基づく再構成について2023

    • 著者名/発表者名
      河原英紀, 松井淑恵, 榊原健一, 矢田部浩平
    • 雑誌名

      日本音響学会聴覚研究会

      巻: 53(8)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 音場伝達関数の簡易な測定と臨界距離の推定のための試験信号について.2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊
    • 雑誌名

      信学技報:応用音響研究会

      巻: EA-2023

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 音メディアを用いた実験を支援するための対話的測定ツールについて2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 程島奈緒, 松井淑恵
    • 雑誌名

      電子情報通信学会技術研究報告

      巻: 123-95(EA2023 4-17)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 日常的な音環境の把握を目的とする多様な測定信号を用いたツールの開発について2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也
    • 雑誌名

      日本音響学会建築音響研究会

      巻: AA-2023(39)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 離散フーリエ変換に基づく音響計測における巡回畳み込みの副作用を軽減する重み関数について2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一
    • 雑誌名

      電子情報通信学会応用音響研究会

      巻: EA2023-1 123(58)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] 様々な音響測定用信号を離散フーリエ変換に基づく測定法に用いる際の性能比較.2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一, 北村達也
    • 雑誌名

      電子情報通信学会応用音響研究会

      巻: 123(322)

    • 関連する報告書
      2023 実績報告書
  • [雑誌論文] An objective test tool for pitch extractors' response attributes2022

    • 著者名/発表者名
      Kawahara Hideki、Yatabe Kohei、Sakakibara Ken-Ichi、Kitamura Tatsuya、Banno Hideki、Morise Masanori
    • 雑誌名

      Proc. INTERSPEECH 2022

      巻: - ページ: 659-663

    • DOI

      10.21437/interspeech.2022-800

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Comparative measurement of headphones using new test signals and side tones while voicing2022

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, T. Matsui, N. Hodoshima, M. Mizumachi, K.-I. Sakakibara,
    • 雑誌名

      Proceedings of the auditory research meeting

      巻: 52(8) ページ: 575-580

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 変調周波数伝達特性と周波数応答で音声を調べよう2022

    • 著者名/発表者名
      河原英紀、矢田部浩平、榊原 健一、北村 達也、坂野 秀樹、森勢将雅
    • 雑誌名

      IEICE Tech Rep.

      巻: 2022-SLP-142 ページ: 1-6

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] 音声収録におけるスマートデバイスなどを用いた音圧較正の検討2022

    • 著者名/発表者名
      河原 英紀, 榊原 健一, 水町 光徳, 北村 達也
    • 雑誌名

      聴覚研究会資料

      巻: 52(1)

    • NAID

      40022816420

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] 利用価値の高い音声データの録音手順の実際と支援ツールについて ~ オールパスフィルタの従属接続に基づく拡張された時間伸長パルスの応用 ~2021

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊夫
    • 雑誌名

      信学技報

      巻: 121(66) SP2021-1

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Multivariate Analysis of Vocal Fold Vibrations on Various Voice Disorders Using High-Speed Digital Imaging2021

    • 著者名/発表者名
      A. Yamauchi, H. Imagawa, H. Yokonishi, K.-I. Sakakibara, N. ayama
    • 雑誌名

      Applied Sciences

      巻: 11 号: 14 ページ: 6284-6284

    • DOI

      10.3390/app11146284

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Interactive and Real-Time Acoustic Measurement Tools for Speech Data Acquisition and Presentation: Application of an Extended Member of Time Stretched Pulses2021

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, M. Morise, H. Banno, T. Irino
    • 雑誌名

      Proc. Interspeech 2021

      巻: --

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Mixture of Orthogonal Sequences Made from Extended Time-Stretched Pulses Enables Measurement of Involuntary Voice Fundamental Frequency Response to Pitch Perturbation2021

    • 著者名/発表者名
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • 雑誌名

      Proc. Interspeech 2021

      巻: -- ページ: 3206-3210

    • DOI

      10.21437/interspeech.2021-2073

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] サイドローブの無い窓を用いた分析に基づくEGG音声データベースの対話的可視化について2021

    • 著者名/発表者名
      河原 英紀, 矢田部 浩平, 榊原 健一, 北村 達也, 坂野 秀樹, 森勢 将雅
    • 雑誌名

      聴覚研究会資料

      巻: 51(7)

    • NAID

      40022745786

    • 関連する報告書
      2021 実績報告書
  • [雑誌論文] Implementation of Interactive Tools for Investigating Fundamental Frequency Response of Voiced Sounds to Auditory Stimulation,2021

    • 著者名/発表者名
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • 雑誌名

      2021 APSIPA ASC Proc.

      巻: --

    • 関連する報告書
      2021 実績報告書
    • 査読あり
  • [学会発表] The frequency modulation transfer function provides supplemental measures for the objective evaluation of pitch extractors2023

    • 著者名/発表者名
      H. Kawahara, K.-I. Sakakibara, K. Yatabe
    • 学会等名
      Acoustics 23
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Singing Voice Range Profiling Toolbox with real-time interaction and its application to make recording data reusable2023

    • 著者名/発表者名
      H. Kawahara, K.-I. Sakakibara , K. Yatabe, M. Mizumachi, T. Kitamura
    • 学会等名
      Stockholm Music Acoustic Conference 2023
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Acoustic measurement framework for audio systems based on structured periodic test signals2023

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • 学会等名
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Simultaneous Measurement of Multiple Acoustic Attributes Using Structured Periodic Test Signals Including Music and Other Sound Materials2023

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • 学会等名
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 直交信号をインパルス応答とする帯域フィルタ群を用いたEGG信号の簡易な分析法について2023

    • 著者名/発表者名
      河原英紀, 榊原健一, 寺澤洋子
    • 学会等名
      日本音響学会 音声コミュニケーション研究会 (2024-03)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 瞬時周波数とイベントに基づく音源情報の表現について2023

    • 著者名/発表者名
      河原英紀, 榊原健一, 矢田部浩平
    • 学会等名
      日本音響学会 音声コミュニケーション研究会 (2024-01)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 聴覚刺激に対する基本周波数応答測定システムの離散フーリエ変換に基づく再構成について2023

    • 著者名/発表者名
      河原英紀, 松井淑恵, 榊原健一, 矢田部浩平
    • 学会等名
      日本音響学会聴覚研究会(2023-12)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 音場伝達関数の簡易な測定と臨界距離の推定のための試験信号について.2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊
    • 学会等名
      応用音響研究会(2023-08)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 音メディアを用いた実験を支援するための対話的測定ツールについて2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 程島奈緒, 松井淑恵
    • 学会等名
      電気音響研究会(2023-07)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 日常的な音環境の把握を目的とする多様な測定信号を用いたツールの開発について2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也
    • 学会等名
      日本音響学会建築音響研究会(2023-11)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 離散フーリエ変換に基づく音響計測における巡回畳み込みの副作用を軽減する重み関数について2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一
    • 学会等名
      応用音響研究会(2023-05)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 様々な音響測定用信号を離散フーリエ変換に基づく測定法に用いる際の性能比較.2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一, 北村達也
    • 学会等名
      応用音響研究会(2023-12)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 多様な測定信号を用いた音声の収録および聴取環境の測定例について2023

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也, 牧勝弘, 坂野秀樹
    • 学会等名
      日本音響学会2024年春季研究発表会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] An objective test tool for pitch extractors' response attributes2022

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, T. Kitamura, H. Banno, M. Morise
    • 学会等名
      Intespeech 2022
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 朗読における感情表現と発話様式プロファイル2022

    • 著者名/発表者名
      宮下、河原、榊原、寺澤
    • 学会等名
      日本音響学会第149回研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 変調周波数伝達特性と周波数応答で音声を調べよう2022

    • 著者名/発表者名
      河原、矢田部、榊原、北村、坂野、森勢
    • 学会等名
      音声研究会(2022年6月)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ヘッドフォンを装着して発声する際に生ずる側音と提示音声信号の漏洩について2022

    • 著者名/発表者名
      河原、矢田部、松井、程島、水町、榊原
    • 学会等名
      日本音響学会第149回研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 実際に仕様する素材を用いた音響特性を多点同時計測する代替案の評価について2022

    • 著者名/発表者名
      河原、矢田部、水町、榊原、松崎
    • 学会等名
      日本音響学会第149回研究発表会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 音声コミュニケーション教育・研究用の対話的可視化・可聴化環境について : 声を眺めて、触って、変えて、聴いてみよう2022

    • 著者名/発表者名
      河原, 榊原, 安, 小林
    • 学会等名
      音声研究会(2023年1月)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Comparative measurement of headphones using new test signals and side tones while voicing2022

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, T. Matsui, N. Hodoshima, M. Mizumachi, K.-I. Sakakibara
    • 学会等名
      聴覚研究会(2022-12)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 音声コミュニケーション環境の対話的試験ツールについて2022

    • 著者名/発表者名
      河原英紀, 榊原健一, 程島奈緒, 坂野秀樹, 天野成昭, 北村達也
    • 学会等名
      音声研究会(2023-02)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 信号保護に基づく音響システム測定法の拡張について---繰り返しと直交化による後付での分析2022

    • 著者名/発表者名
      河原、矢田部、榊原、水町
    • 学会等名
      音声研究会(2023-02)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] GG解析から見た緊迫音声の声帯振動様式2022

    • 著者名/発表者名
      小松、程島、榊原、水町
    • 学会等名
      聴覚研究会(2022-12)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 利用価値の高い音声データの録音手順の実際と支援ツールについて ~ オールパスフィルタの従属接続に基づく拡張された時間伸長パルスの応用 ~2021

    • 著者名/発表者名
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊夫
    • 学会等名
      音学シンポジウム2021
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Interactive and Real-Time Acoustic Measurement Tools for Speech Data Acquisition and Presentation: Application of an Extended Member of Time Stretched Pulses2021

    • 著者名/発表者名
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, M. Morise, H. Banno, T. Irino
    • 学会等名
      Interspeech 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Mixture of orthogonal sequences made from extended time-stretched pulses enables measurement of involuntary voice fundamental frequency response to pitch perturbation2021

    • 著者名/発表者名
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • 学会等名
      Interspeech 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] サイドローブの無い窓を用いた分析に基づくEGG音声データベースの対話的可視化について2021

    • 著者名/発表者名
      河原 英紀, 矢田部 浩平, 榊原 健一, 北村 達也, 坂野 秀樹, 森勢 将雅
    • 学会等名
      聴覚研究会/電気音響研究会/マルチメディア情報ハイディング・エンリッチメント研究会合同研究会
    • 関連する報告書
      2021 実績報告書
  • [学会発表] Implementation of Interactive Tools for Investigating Fundamental Frequency Response of Voiced Sounds to Auditory Stimulation,2021

    • 著者名/発表者名
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • 学会等名
      APSIPA ASC 2021
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] 音声収録におけるスマートデバイスなどを用いた音圧較正の検討2021

    • 著者名/発表者名
      河原 英紀, 榊原 健一, 水町 光徳, 北村 達也
    • 学会等名
      聴覚研究会・音声コミュニケーション研究会合同研究会
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi