• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Annual Research Report

統計的信号処理と音楽理論を融合する多面的音楽処理の研究

Research Project

Project/Area Number 23240021
Research InstitutionNational Institute of Informatics

Principal Investigator

嵯峨山 茂樹  国立情報学研究所, 情報学プリンシプル研究系, 特任教授 (00303321)

Co-Investigator(Kenkyū-buntansha) 小野 順貴  国立情報学研究所, 情報学プリンシプル研究系, 准教授 (80334259)
堀 玄  亜細亜大学, 経営学部, 准教授 (60322658)
中村 和幸  明治大学, 総合数理学部, 准教授 (40462171)
Project Period (FY) 2011-04-01 – 2014-03-31
Keywords音楽情報処理 / 音楽信号処理 / 自動採譜 / 自動伴奏 / 自動編曲 / 多重音解析 / 楽音分離 / 国際研究者交流(フランス)
Research Abstract

本プロジェクトは、統計的信号処理と音楽理論の数理モデルを融合して、音楽(および音響・音声)の信号処理と情報処理に対して多面的に取り組むものである。音声認識分野では音響処理と言語処理の融合がキー技術であったように、音楽においては信号処理と音楽理論の融合が必須である。平成25年度は、音楽の構造に着目した研究を重点的に行った。MIDI入力あるいは音響入力から自動採譜を行う技術に関して、テンポや個々のリズム音長の変動に対処するためには、音声認識における言語モデルに相当する音楽構造モデルが必要であるが、そのために2次元の文脈自由文法(CFG)を発案し、入力音楽の構造を構文解析手法により推定する2次元LRパーサを開発し、音楽演奏MIDI信号からの自動採譜を行った。また、演奏者に合わせてオーケストラなどの伴奏が追随する自動伴奏技術では、演奏者の演奏間違い(リズム間違い、別の音、音抜け、余分な音)は勿論のこと、弾き直しや弾き飛ばしなど任意の箇所にジャンプする場合もすばやく追従することが実用上は重要であるが、そのための高速アルゴリズムを開発するとともに、演奏の任意性(トリル、アルペジョ、装飾音)もモデル化して追従できる手法を開発した。ピアノ曲の楽譜を与えるとギター用へ自動編曲する技術に関しては、入力と出力の両方を伴う隠れマルコフモデル(HMM)により自動編曲するアルゴリズムを開発した。音楽信号処理の面では、我々が開発した調波音と打楽器音を分離する技術(HPSS)を2段階通すことで、人の声を分離あるいは強調する技術の研究を進め、IEEE論文化した。自動作曲に関しては、以前より日本語の韻律を利用した最適化問題解法による自動作曲手法を一般公開しているが、二重唱の自動作曲の機能を加えて公開し、使いやすいユーザwebインタフェースを開発したところ、新バージョン公開以来の累積作曲数は18万曲を超え、作品の閲覧回数は300万回を超えた。

Current Status of Research Progress
Reason

25年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

25年度が最終年度であるため、記入しない。

  • Research Products

    (28 results)

All 2014 2013 Other

All Journal Article (14 results) (of which Peer Reviewed: 11 results) Presentation (8 results) Remarks (2 results) Patent(Industrial Property Rights) (4 results)

  • [Journal Article] Singing Voice Enhancement in Monaural Music Signals Based on Two-stage Harmonic/Percussive Sound Separation on Multiple Resolution Spectrograms2014

    • Author(s)
      Hideyuki Tachibana, Nobutaka Ono and Shigeki Sagayama
    • Journal Title

      IEEE/ACM IEEE Transactions on Audio, Speech and Language Processing

      Volume: Vol. 22, No. 1 Pages: 228-237

    • Peer Reviewed
  • [Journal Article] Dynamic Bayesian Networks for Symbolic Polyphonic Pitch Modeling2013

    • Author(s)
      Stanislaw Andrzej Raczynski, Emmanuel Vincent, Shigeki Sagayama
    • Journal Title

      IEEE Transactions on Audio, Speech and Language Processing

      Volume: Vol. 21, No. 9 Pages: 1830-1840

    • Peer Reviewed
  • [Journal Article] Bayesian Nonparametric Approach to Blind Separation of Infinitely Many Sparse Sources2013

    • Author(s)
      Hirokazu Kameoka, Misa Sato, Takuma Ono, Nobutaka Ono and Shigeki Sagayama
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics

      Volume: vol. E96-A, no. 10 Pages: 1928-1937

    • Peer Reviewed
  • [Journal Article] 音楽要素の分解再構成に基づく日本語歌詞からの旋律自動作曲2013

    • Author(s)
      深山 覚, 中妻 啓, 酒向 慎司, 西本 卓也, 小野 順貴, 嵯峨山 茂樹
    • Journal Title

      情報処理学会論文誌

      Volume: vol. 54, no. 5 Pages: 1709 - 1720

    • Peer Reviewed
  • [Journal Article] 任意箇所への弾き直し・弾き飛ばしを含む演奏に追 従可能な楽譜追跡と自動伴奏2013

    • Author(s)
      中村 栄太, 武田 晴登, 山本 龍一, 齋藤 康之, 酒向慎司, 嵯峨山 茂樹
    • Journal Title

      情報処理学会論文誌

      Volume: vol. 54, no. 4 Pages: 1338-1349

    • Peer Reviewed
  • [Journal Article] Automatic Transcription of MIDI Signals Based on Probabilistic Model of Two-dimensional Rhythm Tree Structure Representation2013

    • Author(s)
      Masato Tsuchiya, Kazuki Ochiai, Hirokazu Kameoka, Shigeki Sagayama
    • Journal Title

      Proceedings of Asia Pacific Signal and Information Processing Association

      Volume: 1 Pages: 1-6

    • DOI

      10.1109/APSIPA.2013.6694308

    • Peer Reviewed
  • [Journal Article] ACOUSTIC SCORE FOLLOWING TO MUSICAL PERFORMANCE WITH ERRORS AND ARBITRARY REPEATS AND SKIPS FOR AUTOMATIC ACCOMPANIMENT2013

    • Author(s)
      Tomohiko Nakamura, Eita Nakamura, Shigeki Sagayama
    • Journal Title

      Proceedings of SMC (Sound and Music Computing) Conference

      Volume: ISBN: 978-3-8325-3472-1 Pages: in CD-ROM

    • Peer Reviewed
  • [Journal Article] Generative modeling of speech F0 contours2013

    • Author(s)
      Hirokazu Kameoka, Kota Yoshizato, Tatsuma Ishihara, Yasunori Ohishi, Kunio Kashino, Shigeki Sagayama
    • Journal Title

      Proceedings of Interspeech 2013

      Volume: 1 Pages: 1826-1830

    • Peer Reviewed
  • [Journal Article] Probabilistic speech F0 contour model incorporating statistical vocabulary model of phrase-accent command sequence2013

    • Author(s)
      Tatsuma Ishihara, Hirokazu Kameoka, Kota Yoshizato, Daisuke Saito, Shigeki Sagayama
    • Journal Title

      Proceedings of Interspeech 2013

      Volume: 11 Pages: 1017-1021

    • Peer Reviewed
  • [Journal Article] Input-Output HMM Applied to Automatic Arrangement for Guitars2013

    • Author(s)
      Gen Hori, Hirokazu Kameoka and Shigeki Sagayama
    • Journal Title

      Journal of Information Processing

      Volume: 21 Pages: 264-271

    • Peer Reviewed
  • [Journal Article] Text-to-speech synthesizer based on combined model of composite wavelet and hidden Markov models2013

    • Author(s)
      Nobukatsu Hojo, Kota Yoshizato, Hirokazu Kameoka, Daisuke Saito, Shigeki Sagayama
    • Journal Title

      Proxeedings of Speech Synthesis Workshop 2013

      Volume: 1 Pages: 129-134

    • Peer Reviewed
  • [Journal Article] 誤り・任意の弾き直し・弾き飛ばしを含む演奏音響信号への高速な楽譜追跡2013

    • Author(s)
      中村 友彦, 中村 栄太, 嵯峨山 茂樹
    • Journal Title

      情報処理学会研究報告

      Volume: MUS-99 (40) Pages: 1-5

  • [Journal Article] 複合ウェーブレットトラジェクトリモデルに基づくテキスト音声合成2013

    • Author(s)
      北条 伸克, 吉里 幸太, 亀岡 弘和, 齋藤 大輔, 嵯峨山 茂樹
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: SP-113, no. 308 Pages: 13-18

  • [Journal Article] 形態素リスト上の経路探索による自動作詞2013

    • Author(s)
      堀 玄, 齋藤 大輔, 嵯峨山 茂樹
    • Journal Title

      計量国語学会予稿集

      Volume: 29 (3) Pages: 104-196

  • [Presentation] 複合ウェーブレットトラジェクトリモデルに基づくテキスト音声合成2013

    • Author(s)
      北条 伸克
    • Organizer
      電子情報通信学会音声研究会
    • Place of Presentation
      奈良先端科学技術大学院大学
    • Year and Date
      20131121-20131122
  • [Presentation] Automatic Transcription of MIDI Signals Based on Probabilistic Model of Two-dimensional Rhythm Tree Structure Representation2013

    • Author(s)
      土屋政人
    • Organizer
      Asia Pacific Signal and Information Processing Association
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      20131029-20131101
  • [Presentation] 形態素リスト上の経路探索による自動作詞2013

    • Author(s)
      堀 玄
    • Organizer
      計量国語学会
    • Place of Presentation
      首都大学東京 秋葉原サテライトキャンパス
    • Year and Date
      20130928-20130928
  • [Presentation] Text-to-speech synthesizer based on combined model of composite wavelet and hidden Markov models2013

    • Author(s)
      北条伸克
    • Organizer
      Speech Synthesis Workshop 2013
    • Place of Presentation
      Barcelona, Spain
    • Year and Date
      20130831-20130902
  • [Presentation] Generative modeling of speech F0 contours2013

    • Author(s)
      亀岡弘和
    • Organizer
      Interspeech 2013
    • Place of Presentation
      Lyon, France
    • Year and Date
      20130825-20130828
  • [Presentation] Probabilistic speech F0 contour model incorporating statistical vocabulary model of phrase-accent command sequence2013

    • Author(s)
      石原達馬
    • Organizer
      Interspeech 2013
    • Place of Presentation
      Lyon, France
    • Year and Date
      20130825-20130828
  • [Presentation] ACOUSTIC SCORE FOLLOWING TO MUSICAL PERFORMANCE WITH ERRORS AND ARBITRARY REPEATS AND SKIPS FOR AUTOMATIC ACCOMPANIMENT2013

    • Author(s)
      中村知彦
    • Organizer
      SMC (Sound and Music Computing) Conference
    • Place of Presentation
      Stockholm, Sweden
    • Year and Date
      20130730-20130803
  • [Presentation] 誤り・任意の弾き直し・弾き飛ばしを含む演奏音響信号への高速な楽譜追跡2013

    • Author(s)
      中村 友彦
    • Organizer
      情報処理学会音楽情報科学研究会
    • Place of Presentation
      お茶の水女子大学 理学部
    • Year and Date
      20130511-20130512
  • [Remarks] 自動作曲システム Orpheus

    • URL

      http://www.orpheus-music.org/v3/

  • [Remarks] 自動伴奏システム Eurydice ビデオデモ

    • URL

      http://www.orpheus-music.org/v3/others/Orpheus31others.php

  • [Patent(Industrial Property Rights)] 音声信号解析装置、方法、及びプログラム2013

    • Inventor(s)
      亀岡 弘和、吉里 幸太、齋藤 大輔、嵯峨山 茂樹、北条 伸克
    • Industrial Property Rights Holder
      東京大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-182112
    • Filing Date
      2013-09-03
  • [Patent(Industrial Property Rights)] 音響信号解析装置、方法、及びプログラム2013

    • Inventor(s)
      亀岡 弘和、池澤 浩気、北条 伸克、エスピ ミケル、嵯峨山 茂樹
    • Industrial Property Rights Holder
      東京大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-181701
    • Filing Date
      2013-09-02
  • [Patent(Industrial Property Rights)] 音声合成モデル学習装置、方法、及びプログラム2013

    • Inventor(s)
      亀岡 弘和、北条 伸克、吉里 幸太、齋藤 大輔、嵯峨山 茂樹
    • Industrial Property Rights Holder
      東京大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-177166
    • Filing Date
      2013-08-28
  • [Patent(Industrial Property Rights)] 基本周波数モデルパラメータ推定装置、方法、及びプログラム2013

    • Inventor(s)
      亀岡 弘和、石原 達馬、吉里 幸太、齋藤 大輔、嵯峨山 茂樹
    • Industrial Property Rights Holder
      東京大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2013-173266
    • Filing Date
      2013-08-22

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi