• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Elucidation and Restoration of Folk Music Singing Techniques Based on Machine Learning Analysis of Audio Recordings

Research Project

Project/Area Number 23K20440
Project/Area Number (Other) 21H00497 (2021-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2021-2023)
Section一般
Review Section Basic Section 01070:Theory of art practice-related
Research InstitutionHealth Sciences University of Hokkaido

Principal Investigator

榊原 健一  北海道医療大学, リハビリテーション科学部, 准教授 (80396168)

Co-Investigator(Kenkyū-buntansha) MOKHTARI Parham  富山県立大学, 情報工学部, 教授 (00395089)
後藤 多嘉緒  東京大学, 保健・健康推進本部, 助教 (20735930)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
千葉 伸彦  東京音楽大学, 音楽学部, 講師 (50862538)
Project Period (FY) 2021-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2025: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2024: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2023: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2022: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Keywords民俗音楽歌唱 / 音声生理 / 歌唱法 / 声質 / 機械学習 / 発声法 / 音響分析
Outline of Research at the Start

本研究では,ヒトが発声可能な声を網羅的に収録し,歌唱技法的特徴や生理的計測データを付加した発
声基本データベースを作成し,統計的機械学習の手法を用いて,過去の歌唱録音データにおいて用いられている発声方法を明らかにする.同時に,歌唱に用いられた異なる歌唱方法をクラスタリングにより分類し,教
師あり学習により推定された歌唱法と比較する.更に,推定された発声方法をもとに,過去の録音データの歌唱法を,現在の歌手に聴きながら即座に復唱する音声シャドーイングの手法により学修させ,歌唱者の身体動作レベルで復元する.

Outline of Annual Research Achievements

歌唱法の自動判定について,異なる声区の混合する歌唱データについて,方式を実装し方式評価をおこなった.
また,静穏でない場所での歌唱録音のための,音声測定方法について,様々な試験信号を実装して,性能の評価をおこなった. 歌唱録音の実用性を高めるために,対話的なインタフェースを作成し,音場計測を短時間に有効に実施するシステムを実装した.インパルス応答,マイクのキャリブレーション,臨界距離など録音時の機器設定に関する情報も対話的に確認することが可能である.
歌唱における声帯振動様式の間接的分析方法であるEGG信号の分析方法について,帯域フィルタ群に基づく新たな分析手法を開発,提案した.これにより頑健で高速なEGG信号の周期情報の抽出が可能となった.
瞬時周波数イベントに基づく音源情報表現の方法を提案し,EGGや音響信号を用いた声帯振動様式の推定について頑健かつ有効な方法を実装した.必ずしも構造化された倍音構造を持たない信号に対しても周期性を同定する方法により,特殊な歌唱方法や起声などの明確な基本周波数が定義されない信号のもつ周期性構造を明らかにすることが可能となった.これまで脆弱であったEGG-Oqの計算が頑健におこなえ,声質と関連するパラメータの有効な抽出方法を提案した.
歌唱における特殊な唱法について,戦後の民俗音楽歌唱,ポップス歌唱について調査し,様式の類型化をおこなった.声区の制御,foの制御,調音の意図的な逸脱などを含む特殊な歌唱法が時代とともにどのような変遷をしたかについて検討をおこなった.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

歌唱の録音データの収集は進んでいるが,生理データ収集が十分にできていない.

Strategy for Future Research Activity

今年度は生理データの収集および分析方法の開発を進めていきたい.

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (51 results)

All 2024 2023 2022 2021

All Journal Article (22 results) (of which Peer Reviewed: 7 results,  Open Access: 7 results) Presentation (29 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] Voice source information representation based on the instantaneous frequency and events2024

    • Author(s)
      河原英紀, 榊原健一, 矢田部浩平
    • Journal Title

      Proceedings of the Technical Committee on Speech Communication

      Volume: 4 Issue: 1 Pages: n/a

    • DOI

      10.60274/asjsc.SC-2024-5

    • ISSN
      2758-2744
    • Year and Date
      2024-01-19
    • Related Report
      2023 Annual Research Report
  • [Journal Article] 直交信号をインパルス応答とする帯域フィルタ群を用いたEGG信号の簡易な分析法について2024

    • Author(s)
      河原英紀, 榊原健一, 寺澤洋子
    • Journal Title

      日本音響学会音声コミュニケーション研究会

      Volume: 4(2)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Interactive test environment for acoustic conditions of speech communication2023

    • Author(s)
      河原 英紀、榊原 健一、程島 奈緒、坂野 秀樹、北村 達也、天野 成昭
    • Journal Title

      Proceedings of the Technical Committee on Speech Communication

      Volume: 3 Issue: 2 Pages: n/a

    • DOI

      10.60274/asjsc.SC-2023-8

    • ISSN
      2758-2744
    • Year and Date
      2023-02-24
    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] Interactive visualization and sonification environment dedicated to education and research of speech communication2023

    • Author(s)
      河原 英紀、榊原 健一、安 啓一、小林 敬
    • Journal Title

      Proceedings of the Technical Committee on Speech Communication

      Volume: 3 Issue: 1 Pages: n/a

    • DOI

      10.60274/asjsc.SC-2023-4

    • ISSN
      2758-2744
    • Year and Date
      2023-01-21
    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] Singing Voice Range Profiling Toolbox with real-time interaction and its application to make recording data reusable2023

    • Author(s)
      H. Kawahara, K.-I. Sakakibara , K. Yatabe, M. Mizumachi, T. Kitamura
    • Journal Title

      Proceedings of Stockholm Music Acoustic Conference 2023

      Volume: -

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Simultaneous Measurement of Multiple Acoustic Attributes Using Structured Periodic Test Signals Including Music and Other Sound Materials2023

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • Journal Title

      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)

      Volume: - Pages: 173-180

    • DOI

      10.1109/apsipaasc58517.2023.10317411

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 聴覚刺激に対する基本周波数応答測定システムの離散フーリエ変換に基づく再構成について2023

    • Author(s)
      河原英紀, 松井淑恵, 榊原健一, 矢田部浩平
    • Journal Title

      日本音響学会聴覚研究会

      Volume: 53(8)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] 音場伝達関数の簡易な測定と臨界距離の推定のための試験信号について.2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊
    • Journal Title

      信学技報:応用音響研究会

      Volume: EA-2023

    • Related Report
      2023 Annual Research Report
  • [Journal Article] 音メディアを用いた実験を支援するための対話的測定ツールについて2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 程島奈緒, 松井淑恵
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 123-95(EA2023 4-17)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] 日常的な音環境の把握を目的とする多様な測定信号を用いたツールの開発について2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也
    • Journal Title

      日本音響学会建築音響研究会

      Volume: AA-2023(39)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] 離散フーリエ変換に基づく音響計測における巡回畳み込みの副作用を軽減する重み関数について2023

    • Author(s)
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一
    • Journal Title

      電子情報通信学会応用音響研究会

      Volume: EA2023-1 123(58)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] 様々な音響測定用信号を離散フーリエ変換に基づく測定法に用いる際の性能比較.2023

    • Author(s)
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一, 北村達也
    • Journal Title

      電子情報通信学会応用音響研究会

      Volume: 123(322)

    • Related Report
      2023 Annual Research Report
  • [Journal Article] An objective test tool for pitch extractors' response attributes2022

    • Author(s)
      Kawahara Hideki、Yatabe Kohei、Sakakibara Ken-Ichi、Kitamura Tatsuya、Banno Hideki、Morise Masanori
    • Journal Title

      Proc. INTERSPEECH 2022

      Volume: - Pages: 659-663

    • DOI

      10.21437/interspeech.2022-800

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Comparative measurement of headphones using new test signals and side tones while voicing2022

    • Author(s)
      H. Kawahara, K. Yatabe, T. Matsui, N. Hodoshima, M. Mizumachi, K.-I. Sakakibara,
    • Journal Title

      Proceedings of the auditory research meeting

      Volume: 52(8) Pages: 575-580

    • Related Report
      2022 Annual Research Report
  • [Journal Article] 変調周波数伝達特性と周波数応答で音声を調べよう2022

    • Author(s)
      河原英紀、矢田部浩平、榊原 健一、北村 達也、坂野 秀樹、森勢将雅
    • Journal Title

      IEICE Tech Rep.

      Volume: 2022-SLP-142 Pages: 1-6

    • Related Report
      2022 Annual Research Report
  • [Journal Article] 音声収録におけるスマートデバイスなどを用いた音圧較正の検討2022

    • Author(s)
      河原 英紀, 榊原 健一, 水町 光徳, 北村 達也
    • Journal Title

      聴覚研究会資料

      Volume: 52(1)

    • NAID

      40022816420

    • Related Report
      2021 Annual Research Report
  • [Journal Article] 利用価値の高い音声データの録音手順の実際と支援ツールについて ~ オールパスフィルタの従属接続に基づく拡張された時間伸長パルスの応用 ~2021

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊夫
    • Journal Title

      信学技報

      Volume: 121(66) SP2021-1

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Multivariate Analysis of Vocal Fold Vibrations on Various Voice Disorders Using High-Speed Digital Imaging2021

    • Author(s)
      A. Yamauchi, H. Imagawa, H. Yokonishi, K.-I. Sakakibara, N. ayama
    • Journal Title

      Applied Sciences

      Volume: 11 Issue: 14 Pages: 6284-6284

    • DOI

      10.3390/app11146284

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Interactive and Real-Time Acoustic Measurement Tools for Speech Data Acquisition and Presentation: Application of an Extended Member of Time Stretched Pulses2021

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, M. Morise, H. Banno, T. Irino
    • Journal Title

      Proc. Interspeech 2021

      Volume: --

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Mixture of Orthogonal Sequences Made from Extended Time-Stretched Pulses Enables Measurement of Involuntary Voice Fundamental Frequency Response to Pitch Perturbation2021

    • Author(s)
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • Journal Title

      Proc. Interspeech 2021

      Volume: -- Pages: 3206-3210

    • DOI

      10.21437/interspeech.2021-2073

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] サイドローブの無い窓を用いた分析に基づくEGG音声データベースの対話的可視化について2021

    • Author(s)
      河原 英紀, 矢田部 浩平, 榊原 健一, 北村 達也, 坂野 秀樹, 森勢 将雅
    • Journal Title

      聴覚研究会資料

      Volume: 51(7)

    • NAID

      40022745786

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Implementation of Interactive Tools for Investigating Fundamental Frequency Response of Voiced Sounds to Auditory Stimulation,2021

    • Author(s)
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • Journal Title

      2021 APSIPA ASC Proc.

      Volume: --

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Presentation] The frequency modulation transfer function provides supplemental measures for the objective evaluation of pitch extractors2023

    • Author(s)
      H. Kawahara, K.-I. Sakakibara, K. Yatabe
    • Organizer
      Acoustics 23
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Singing Voice Range Profiling Toolbox with real-time interaction and its application to make recording data reusable2023

    • Author(s)
      H. Kawahara, K.-I. Sakakibara , K. Yatabe, M. Mizumachi, T. Kitamura
    • Organizer
      Stockholm Music Acoustic Conference 2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Acoustic measurement framework for audio systems based on structured periodic test signals2023

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • Organizer
      2023 IEEE 12th Global Conference on Consumer Electronics (GCCE)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Simultaneous Measurement of Multiple Acoustic Attributes Using Structured Periodic Test Signals Including Music and Other Sound Materials2023

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, T. Kitamura
    • Organizer
      2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 直交信号をインパルス応答とする帯域フィルタ群を用いたEGG信号の簡易な分析法について2023

    • Author(s)
      河原英紀, 榊原健一, 寺澤洋子
    • Organizer
      日本音響学会 音声コミュニケーション研究会 (2024-03)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 瞬時周波数とイベントに基づく音源情報の表現について2023

    • Author(s)
      河原英紀, 榊原健一, 矢田部浩平
    • Organizer
      日本音響学会 音声コミュニケーション研究会 (2024-01)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 聴覚刺激に対する基本周波数応答測定システムの離散フーリエ変換に基づく再構成について2023

    • Author(s)
      河原英紀, 松井淑恵, 榊原健一, 矢田部浩平
    • Organizer
      日本音響学会聴覚研究会(2023-12)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 音場伝達関数の簡易な測定と臨界距離の推定のための試験信号について.2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊
    • Organizer
      応用音響研究会(2023-08)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 音メディアを用いた実験を支援するための対話的測定ツールについて2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 程島奈緒, 松井淑恵
    • Organizer
      電気音響研究会(2023-07)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 日常的な音環境の把握を目的とする多様な測定信号を用いたツールの開発について2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也
    • Organizer
      日本音響学会建築音響研究会(2023-11)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 離散フーリエ変換に基づく音響計測における巡回畳み込みの副作用を軽減する重み関数について2023

    • Author(s)
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一
    • Organizer
      応用音響研究会(2023-05)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 様々な音響測定用信号を離散フーリエ変換に基づく測定法に用いる際の性能比較.2023

    • Author(s)
      河原英紀, 矢田部浩平, 水町光徳, 榊原健一, 北村達也
    • Organizer
      応用音響研究会(2023-12)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 多様な測定信号を用いた音声の収録および聴取環境の測定例について2023

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 北村達也, 牧勝弘, 坂野秀樹
    • Organizer
      日本音響学会2024年春季研究発表会
    • Related Report
      2023 Annual Research Report
  • [Presentation] An objective test tool for pitch extractors' response attributes2022

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, T. Kitamura, H. Banno, M. Morise
    • Organizer
      Intespeech 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 朗読における感情表現と発話様式プロファイル2022

    • Author(s)
      宮下、河原、榊原、寺澤
    • Organizer
      日本音響学会第149回研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 変調周波数伝達特性と周波数応答で音声を調べよう2022

    • Author(s)
      河原、矢田部、榊原、北村、坂野、森勢
    • Organizer
      音声研究会(2022年6月)
    • Related Report
      2022 Annual Research Report
  • [Presentation] ヘッドフォンを装着して発声する際に生ずる側音と提示音声信号の漏洩について2022

    • Author(s)
      河原、矢田部、松井、程島、水町、榊原
    • Organizer
      日本音響学会第149回研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 実際に仕様する素材を用いた音響特性を多点同時計測する代替案の評価について2022

    • Author(s)
      河原、矢田部、水町、榊原、松崎
    • Organizer
      日本音響学会第149回研究発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 音声コミュニケーション教育・研究用の対話的可視化・可聴化環境について : 声を眺めて、触って、変えて、聴いてみよう2022

    • Author(s)
      河原, 榊原, 安, 小林
    • Organizer
      音声研究会(2023年1月)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Comparative measurement of headphones using new test signals and side tones while voicing2022

    • Author(s)
      H. Kawahara, K. Yatabe, T. Matsui, N. Hodoshima, M. Mizumachi, K.-I. Sakakibara
    • Organizer
      聴覚研究会(2022-12)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 音声コミュニケーション環境の対話的試験ツールについて2022

    • Author(s)
      河原英紀, 榊原健一, 程島奈緒, 坂野秀樹, 天野成昭, 北村達也
    • Organizer
      音声研究会(2023-02)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 信号保護に基づく音響システム測定法の拡張について---繰り返しと直交化による後付での分析2022

    • Author(s)
      河原、矢田部、榊原、水町
    • Organizer
      音声研究会(2023-02)
    • Related Report
      2022 Annual Research Report
  • [Presentation] GG解析から見た緊迫音声の声帯振動様式2022

    • Author(s)
      小松、程島、榊原、水町
    • Organizer
      聴覚研究会(2022-12)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 利用価値の高い音声データの録音手順の実際と支援ツールについて ~ オールパスフィルタの従属接続に基づく拡張された時間伸長パルスの応用 ~2021

    • Author(s)
      河原英紀, 矢田部浩平, 榊原健一, 水町光徳, 森勢将雅, 坂野秀樹, 入野俊夫
    • Organizer
      音学シンポジウム2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] Interactive and Real-Time Acoustic Measurement Tools for Speech Data Acquisition and Presentation: Application of an Extended Member of Time Stretched Pulses2021

    • Author(s)
      H. Kawahara, K. Yatabe, K.-I. Sakakibara, M. Mizumachi, M. Morise, H. Banno, T. Irino
    • Organizer
      Interspeech 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Mixture of orthogonal sequences made from extended time-stretched pulses enables measurement of involuntary voice fundamental frequency response to pitch perturbation2021

    • Author(s)
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • Organizer
      Interspeech 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] サイドローブの無い窓を用いた分析に基づくEGG音声データベースの対話的可視化について2021

    • Author(s)
      河原 英紀, 矢田部 浩平, 榊原 健一, 北村 達也, 坂野 秀樹, 森勢 将雅
    • Organizer
      聴覚研究会/電気音響研究会/マルチメディア情報ハイディング・エンリッチメント研究会合同研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Implementation of Interactive Tools for Investigating Fundamental Frequency Response of Voiced Sounds to Auditory Stimulation,2021

    • Author(s)
      H. Kawahara, T. Matsui, K. Yatabe, K.-I. Sakakibara, M. Tsuzaki, M. Morise, T. Irino
    • Organizer
      APSIPA ASC 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 音声収録におけるスマートデバイスなどを用いた音圧較正の検討2021

    • Author(s)
      河原 英紀, 榊原 健一, 水町 光徳, 北村 達也
    • Organizer
      聴覚研究会・音声コミュニケーション研究会合同研究会
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi