Singing voice synthesis based on control of acoustical and physiological characteristics

• Project/Area Number: 23700197
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: Kanazawa University
• Principal Investigator: SAITOU Takeshi 金沢大学, 電子情報学系, 助教 (70446962)
• Project Period (FY): 2011 – 2013
• Project Status: Completed (Fiscal Year 2013)
• Budget Amount: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000); Fiscal Year 2013: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2012: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2011: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 歌声合成 / 歌声知覚・生成 / 歌声固有の音響特徴 / オペラ歌唱 / 声区 / 物真似歌唱 / 歌声の類似度 / 歌声知覚 / 歌声生成 / ボコーダ / 音響分析 / 発声学 / 聴覚心理 / 歌声データベース

Research Abstract

The aim of this study was to develop a singing voice synthesis method that can synthesize artistic and expressive singing voice. Research achievements of the study were followings.(1)A large database which contains 500 singing tracks sung by 25 operatic or pop singers was constructed. (2)A vocal register conversion method between a modal and falsetto registers based on modification of acoustical and physiological characteristics was developed. (3)A operatic singing voice synthesis method based on controlling acoustical characteristics unique to operatic singings was proposed. (4)Acoustic characteristics that define singer individuality (vocal timbre, and way of singing) was examined. These achievements contribute to development of the singing voice synthesis.

Research Products

• [Journal Article] Development of a Vocal Training Program for Music Therapists (2013)
  • Author(s): 羽石英里, 齋藤 毅, 城本 修, ドナ・エリクソン, 岸本宏子,八尋久仁代
  • Journal Title: The Japan Journal of Logopedics and Phoniatrics Volume: 54 Issue: 3 Pages: 186-196
  • DOI: 10.5112/jjlp.54.186
  • NAID: 10031189230
  • ISSN: 0030-2813, 1884-3646
  • Peer Reviewed
• [Journal Article] 音楽療法士を対象とした発声訓練プログラム:─開発に向けた予備的研究─ (2013)
  • Author(s): 羽石英里・齋藤 毅・城本 修・ドナ・エリクソン 岸本宏子・八尋久仁代
  • Journal Title: 音声言語医学 Volume: 54(3) Pages: 186196-186196
  • NAID: 10031189230
  • Peer Reviewed
• [Presentation] 歌声解体図を用いた歌声間の類似度評価 (2014)
  • Author(s): 小島 俊, 齋藤 毅, 三好正人
  • Organizer: 音学シンポジウム2014
  • Place of Presentation: 日本大学文理キャンパス(世田谷区)
  • Year and Date: 2014-05-25
• [Presentation] 歌声解体図を用いた歌声間の類似度評価 (2014)
  • Author(s): 小島俊，齋藤 毅，三好正人
  • Organizer: 音学シンポジウム2014
  • Place of Presentation: 日本大学 文理学部
• [Presentation] オペラ歌唱におけるヴィブラートと歌唱ホルマントの知覚について (2013)
  • Author(s): 寺村恭和,齋藤 毅,三好正人
  • Organizer: 日本音響学会聴覚研究会・電子情報通信学会騒音・振動研究会
  • Place of Presentation: 長崎大学(長崎市)
  • Year and Date: 2013-12-21
• [Presentation] 歌声の地声と裏声の切り替え方法の検討 (2013)
  • Author(s): 森下亮祐, 齋藤 毅, 三好正人
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: 神戸セミナーハウス(神戸市)
  • Year and Date: 2013-10-10
• [Presentation] 歌声の知覚と合成 (2013)
  • Author(s): 齋藤 毅
  • Organizer: 日本音響学会聴覚研究会/電気音響研究会/音楽音響研究会・電子情報通信学会応用音響研究会
  • Place of Presentation: 北海道医療大学(札幌市)
  • Year and Date: 2013-07-18
  • Invited
• [Presentation] Pilot study of vibration pattern measurement for facial surface during singing by using scanning vibrometer (2013)
  • Author(s): Tatsuya Kitamura, Hiroaki Hatano, Takeshi Saitou, Yui Shimokura, Eri Haneishi, Hiroko Kishimoto
  • Organizer: the Stockholm Music Acoustics Conference 2013 (SMAC2013)
  • Place of Presentation: Stockholm, Sweden
• [Presentation] Power control for the second harmonic at high pitches in soprano singing: A case study (2013)
  • Author(s): Hironori Takemoto, Seiji Adachi, Takeshi Saitou, Kiyoshi Honda, Eri Haneishi, and Hiroko Kishimoto,
  • Organizer: the Stockholm Music Acoustics Conference 2013 (SMAC2013)
  • Place of Presentation: Stockholm, Sweden
• [Presentation] 歌声の知覚と合成 (2013)
  • Author(s): 齋藤毅
  • Organizer: 電子情報通信学会応用音響研究会・日本音響学会聴覚研究会・日本音響学会音楽音響研究会
  • Place of Presentation: 北海道医療大学
  • Invited
• [Presentation] 歌声の地声と裏声の切り替え方法の検討 (2013)
  • Author(s): 森下亮祐，齋藤 毅，三好正人
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: 神戸セミナーハウス
• [Presentation] オペラ歌唱におけるヴィブラートと歌唱ホルマントの知覚について (2013)
  • Author(s): 寺村恭和, 齋藤 毅, 三好正人
  • Organizer: 日本音響学会聴覚研究会・電子情報通信学会騒音振動研究会
  • Place of Presentation: 長崎大学
• [Presentation] オペラ歌唱における音響特徴の知覚について (2013)
  • Author(s): 寺村恭和, 齋藤 毅, 三好正人
  • Organizer: 平成25年度電気関係学会北陸支部連合大会
  • Place of Presentation: 金沢大学
• [Presentation] 地声と裏声を切り替え可能な歌声合成方法 (2013)
  • Author(s): 森下亮祐，齋藤 毅，三好正人
  • Organizer: 平成25年度電気関係学会北陸支部連合大会
  • Place of Presentation: 金沢大学
• [Presentation] 歌声における裏声と地声を識別するための音響特徴量の検討 (2012)
  • Author(s): 小島 俊, 齋藤 毅, 中野倫靖, 後藤真孝, 三好正人
  • Organizer: 日本音響学会電気音響研究会・電子情報通信学会応用音響研究会
  • Place of Presentation: 牛岳温泉リゾート(富山市)
  • Year and Date: 2012-10-27
• [Presentation] Abrupt register changing technique "Atari" in traditional Japanese singing (2012)
  • Author(s): Takeshi Saitou and Ken-Ichi Sakakibara
  • Organizer: Acoustics 2012
  • Place of Presentation: Hong Kong
  • Year and Date: 2012-05-16
  • Invited
• [Presentation] Abrupt register changing technique “Atari” in traditional Japanese singing (2012)
  • Author(s): Takeshi Saitou, Ken-Ichi Sakakibara
  • Organizer: THE ACOUSTICS 2012
  • Place of Presentation: Hong Kong
  • Invited
• [Presentation] 歌声における印象評価と音響特徴量の関係の調査 (2012)
  • Author(s): 小島 俊, 齋藤 毅, 三好 正人
  • Organizer: 平成24年度電気関係学会北陸支部連合大会
  • Place of Presentation: 富山県立大学
• [Presentation] あたりの生理的・音響的分析と歌声合成への応用, (2012)
  • Author(s): 齋藤 毅，榊原 健一
  • Organizer: 日本音響学会2012年秋季研究発表会
  • Place of Presentation: 信州大学
• [Presentation] 歌声における裏声と地声を識別するための音響特徴量の検討 (2012)
  • Author(s): 小島 俊, 齋藤 毅, 中野倫靖, 後藤真孝, 三好正人
  • Organizer: 日本音響学会 電気音響研究会 / 電子情報通信学会 応用音響研究会
  • Place of Presentation: 山田交流促進センター
• [Presentation] 歌声における印象評価と音響特徴量の関係について (2012)
  • Author(s): 小島 俊
  • Organizer: 日本音響学会 聴覚研究会
  • Place of Presentation: 理化学研究所（埼玉県和光市）
• [Presentation] A study on perceptual effects of overshoot in singing voice F0 contour (2011)
  • Author(s): Takeshi Saitou and Ken-Ichi Sakakibara
  • Organizer: Pan European Voice Conference (PEVOC9)
  • Place of Presentation: Marseille
  • Year and Date: 2011-09-01
• [Presentation] 歌唱時の物真似による音響特徴の変化 (2011)
  • Author(s): 齋藤 毅, 榊原健一
  • Organizer: 日本音響学会 聴覚研究会
  • Place of Presentation: 東京学 芸大学(小金井市)
  • Year and Date: 2011-07-09
• [Presentation] 歌唱時の物真似による音響特徴の変化 (2011)
  • Author(s): 齋藤 毅
  • Organizer: 日本音響学会 聴覚研究会
  • Place of Presentation: 東京学芸大学（東京都小金井市）
• [Presentation] A study on perceptual effects of overshoot in singing voice F0 contour (2011)
  • Author(s): Takeshi Saitou
  • Organizer: Pan European Voice Conference (PEVOC9)
  • Place of Presentation: University Hospital Timone(France)