• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2012 年度 実績報告書

統計的信号処理と音楽理論を融合する多面的音楽処理の研究

研究課題

研究課題/領域番号 23240021
研究機関東京大学

研究代表者

嵯峨山 茂樹  東京大学, 情報理工学(系)研究科, 教授 (00303321)

研究分担者 小野 順貴  国立情報学研究所, 大学共同利用機関等の部局等, 准教授 (80334259)
齋藤 大輔  東京大学, 情報理工学(系)研究科, 助教 (40615150)
研究期間 (年度) 2011-04-01 – 2014-03-31
キーワード音楽情報処理 / 音楽信号処理 / 楽音分離 / 楽譜追跡 / 自動作曲 / 自動ギター運指決定 / 自動演奏表情付け / 自動伴奏
研究概要

主な成果としては、(1) 自動採譜・分離・加工のために必須な技術である多重音解析に関しては、a) 音符のアタックをモデル化した混合ガウスモデル(GMM)による音符分解に基づき、合奏中の個別の音符推定と、音符ごとの楽器を認識する技術を開発し、b) 音楽生成プロセスのベイジアンモデリングによる音響信号の自動採譜アルゴリズムを開発した。(2) 楽音分離加工に関しては、a) 調波音と打楽器音の分離(HPSS)に関して数種類の目的関数を定義して性能を比較した。(3) 和声とリズムのモデルに関しては、a) 多声音楽のリズム木の確率文脈自由文法を提唱して解析アルゴリズムと自動学習アルゴリズムを開拓し、自動採譜への応用を開始した。(5) 音楽認識に関しては、a) 音楽信号を構造解析して曲中の相互類似箇所を見つける高速アルゴリズムと情報圧縮への応用と、b) MIDIデータから作曲家認識する手法を開発した。(6) 自動作曲に関しては、a) リズムの多様性を拡大し、b) web インタフェース Orpheus Ver 3 の機能を拡充してユーザ作品公開機能を充実し、c) 二重唱・三重唱の自動作成技術を開発し、d) ユーザがコード進行を新たに定義するとそれを四声体に展開する技術を開発し、e) 歌詞を与えて旋律を作曲しそれを楽器が演奏するという器楽作品作曲方式を開発し、f) その結果、一般ユーザの自動作曲数が14万曲を超え、それらの試聴回数が250万回を超えた。(7) 音楽演奏モデルに関しては、a) ピアノ楽譜データからフレーズ構造を自動推定しで速度変化を自動生成し、人間的な演奏をする技術を開発し、b) ピアノ演奏で左右の手が緩い同期をするモデルの検討を開始した。桐朋学園大学、NTTコミュニケーション科学基礎研究所、パリ第七大学、亜細亜大学、名古屋工業大学、木更津高専と共同研究した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

有能な分担者および大学院生・学部生・内外の共同研究者らにより、幅広い研究が順調に進んでいる。これら、音楽音響信号の信号処理から、自動作曲のような楽譜生成や web 公開実験までの多様な研究テーマを並列に研究しているので、特にどのテーマが遅れて困るということは本来的にないのであるが、期待以上に進展するテーマもある。特に、自動作曲では、人間にもかなり難しい二重唱や三重唱の自動作曲技術の実現により、公開実験システムのユーザの人気は極めて高く、ユーザが習熟して次々に利用技術を磨き、当初の想定を遥かに超えた名曲が作られている。

今後の研究の推進方策

計画通りに順調に進んでいるので、基本的には今後も計画通り推進する。重点課題としては、多重音解析手法と音楽構造の文法表現との融合を図り、多声音楽の自動採譜の技術を実現したい。楽音分離に関しては、伴奏つき歌唱音楽信号からの歌声抽出技術を向上させるとともに、歌声除去の性能も向上したい。自動伴奏の研究では、トリルやアルペジョなどの任意性のある演奏への楽譜追跡技術や、左右の手が必ずしも完全に同期はしないピアノ演奏のモデル化を行いたい。自動編曲では、ピアノ曲のギター曲への自動編曲の数理的ない定式化を精緻化し、より複雑で長い曲が精度よく行えるようにし、可能ならば web 公開したい。自動作曲の応用として、既存曲の合唱自動編曲を行うとともに、ユーザの意図が細かく反映できるようなアルゴリズムとユーザインタフェースを充実し、自動作詞機能も向上させたい。以上を含む研究を、単独で、あるいはNTTコミュニケーション科学研究所、桐朋学園大学、名古屋工業大学、亜細亜大学、明治大学、木更津高専らと共同研究により遂行する。

  • 研究成果

    (39件)

すべて 2013 2012 その他

すべて 雑誌論文 (18件) (うち査読あり 4件) 学会発表 (19件) (うち招待講演 1件) 図書 (1件) 備考 (1件)

  • [雑誌論文] Musical Instrument Identification Based on New Boosting Algorithm2013

    • 著者名/発表者名
      Jun Wu, Daisuke Saito, Hirokazu Kameoka, Shigeki Sagayama
    • 雑誌名

      日本音響学会春季研究発表会講演集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 日本語歌詞からの自動作曲におけるDP経路制約による旋律制御2013

    • 著者名/発表者名
      深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会全国大会講演論文集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 日本語歌詞からの伴奏つき二重唱の自動生成2013

    • 著者名/発表者名
      桐渕 大貴, 深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会全国大会講演論文集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 弾き直し・弾き飛ばしを含む音楽演奏への高速な音響入力楽譜追跡2013

    • 著者名/発表者名
      中村 友彦, 中村 栄太, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会全国大会講演論文集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 楽譜の二次元木構造表現とリズム語彙に基づくMIDIデータからの自動採譜2013

    • 著者名/発表者名
      土屋 政人, 落合 和樹, 亀岡 弘和, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会全国大会講演論文集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 出力合流並列隠れマルコフモデルとその多声鍵盤音楽の楽譜追跡・両手部分離への応用2013

    • 著者名/発表者名
      中村 栄太, 齋藤 康之, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会研究報告

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 楽曲構造に基づくテンポ包絡曲線の生成による自動演奏表情付けと楽曲構造解析法の検討2013

    • 著者名/発表者名
      伊東 直哉, 深山 覚, 中村 栄太, 齋藤 大輔, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会研究報告

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 確率的手法による歌唱曲の自動作曲2012

    • 著者名/発表者名
      嵯峨山 茂樹, 酒向 慎司, 堀玄, 深山 覚
    • 雑誌名

      システム/制御/情報(システム制御情報学会誌)

      巻: vol. 56, no. 5 ページ: 219-225

    • 査読あり
  • [雑誌論文] Generation of Tempo Curve for Performance Rendering of Piano Music with Automatic Phrase Analysis2012

    • 著者名/発表者名
      Naoya Itou, Satoru Fukayama, Daisuke Saito, Shigeki Sagayama
    • 雑誌名

      Proc. of he 5th International Workshop on Machine Learning and Music (MML 2012)

      巻: vol. I ページ: CD ROM

    • 査読あり
  • [雑誌論文] Automatic arrangement for guitars using hidden Markov model2012

    • 著者名/発表者名
      Gen Hori, Yuma Yoshinaga, Satoru Fukayama, Hirokazu Kameoka, Shigeki Sagayama
    • 雑誌名

      Proceedings of SMC

      巻: vol. I ページ: CD ROM

    • 査読あり
  • [雑誌論文] 多声MIDI演奏の楽譜追跡における演奏の不確定性のモデル化と自動伴奏への応用2012

    • 著者名/発表者名
      中村 栄太, 山本 龍一, 齋藤 康之, 酒向 慎司, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会研究報告

      巻: 2012-MUS-96, no. 10 ページ: 1-6

  • [雑誌論文] 楽譜の文脈自由2次元木構造表現に基づく多重音スペクトログラム生成モデルによる音響信号からの自動採譜2012

    • 著者名/発表者名
      土屋 政人, 落合 和樹, 亀岡 弘和, 嵯峨山 茂樹
    • 雑誌名

      情報処理学会研究報告

      巻: 2012-MUS-96, no. 10 ページ: 1-6

  • [雑誌論文] 多声MIDI演奏の楽譜追跡における装飾音のモデル化と自動伴奏への応用2012

    • 著者名/発表者名
      中村 栄太, 山本 龍一, 齋藤 康之, 酒向 慎司, 嵯峨山 茂樹
    • 雑誌名

      日本音響学会秋季研究発表会講演集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] 音楽演奏の誤りや反復に頑健な音響入力自動伴奏2012

    • 著者名/発表者名
      中村 友彦, 水野 優, 鈴木 孝輔, 中村 栄太, 樋口 祐介, 深山 覚, 嵯峨山 茂樹
    • 雑誌名

      日本音響学会秋季研究発表会講演集

      巻: vol. I ページ: 931-934

  • [雑誌論文] フレーズ構造の自動解析に基づく テンポ変動曲線の生成によるピアノ曲の演奏表情付け2012

    • 著者名/発表者名
      伊東 直哉, 深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 雑誌名

      日本音響学会秋季研究発表会講演集

      巻: vol. I ページ: 927-928

  • [雑誌論文] 補助関数法による音楽音響信号へのMIDI信号の詳細なフィッティング2012

    • 著者名/発表者名
      高宗 典玄, 亀岡 弘和, 土屋 政人, 嵯峨山 茂樹
    • 雑誌名

      日本音響学会秋季研究発表会講演集

      巻: vol. I ページ: CD ROM

  • [雑誌論文] Context-free 2D Tree Structure Model of Musical Notes for Bayesian Modeling of Polyphonic Spectrograms2012

    • 著者名/発表者名
      Hirokazu Kameoka, Kazuki Ochiai, Masahiro Nakano, Masato Tsuchiya, Shigeki Sagayama
    • 雑誌名

      Proc. of International Society of Music Information Retrieval

      巻: vol. I ページ: 307-312

    • 査読あり
  • [雑誌論文] 入出力隠れマルコフモデルの復号によるギターのための自動編曲2012

    • 著者名/発表者名
      堀 玄,亀岡 弘和,嵯峨山 茂樹
    • 雑誌名

      情報処理学会研究報告

      巻: 2012-MUS-97(3) ページ: 1-6

  • [学会発表] 出力合流並列隠れマルコフモデルとその多声鍵盤音楽の楽譜追跡・両手部分離への応用2013

    • 著者名/発表者名
      中村 栄太, 齋藤 康之, 嵯峨山 茂樹
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      公立はこだて未来大学、北海道
    • 年月日
      20130315-20130316
  • [学会発表] 楽曲構造に基づくテンポ包絡曲線の生成による自動演奏表情付けと楽曲構造解析法の検討2013

    • 著者名/発表者名
      伊東 直哉, 深山 覚, 中村 栄太, 齋藤 大輔, 嵯峨山 茂樹
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      公立はこだて未来大学、北海道
    • 年月日
      20130315-20130316
  • [学会発表] Musical Instrument Identification Based on New Boosting Algorithm2013

    • 著者名/発表者名
      Jun Wu, Daisuke Saito, Hirokazu Kameoka, Shigeki Sagayama
    • 学会等名
      2013年日本音響学会春季研究発表会
    • 発表場所
      東京工科大学、東京都
    • 年月日
      20130313-20130315
  • [学会発表] 日本語歌詞からの自動作曲におけるDP経路制約による旋律制御2013

    • 著者名/発表者名
      深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 学会等名
      2013年情報処理学会全国大会
    • 発表場所
      東北大学、宮城県
    • 年月日
      20130306-20130308
  • [学会発表] 日本語歌詞からの伴奏つき二重唱の自動生成2013

    • 著者名/発表者名
      桐渕 大貴, 深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 学会等名
      2013年情報処理学会全国大会
    • 発表場所
      東北大学、宮城県
    • 年月日
      20130306-20130308
  • [学会発表] 弾き直し・弾き飛ばしを含む音楽演奏への高速な音響入力楽譜追跡2013

    • 著者名/発表者名
      中村 友彦, 中村 栄太, 嵯峨山 茂樹
    • 学会等名
      2013年情報処理学会全国大会
    • 発表場所
      東北大学、宮城県
    • 年月日
      20130306-20130308
  • [学会発表] 楽譜の二次元木構造表現とリズム語彙に基づくMIDIデータからの自動採譜2013

    • 著者名/発表者名
      土屋 政人, 落合 和樹, 亀岡 弘和, 嵯峨山 茂樹
    • 学会等名
      2013年情報処理学会全国大会
    • 発表場所
      東北大学、宮城県
    • 年月日
      20130306-20130308
  • [学会発表] 入出力隠れマルコフモデルの復号によるギターのための自動編曲2012

    • 著者名/発表者名
      堀 玄, 亀岡 弘和, 嵯峨山 茂樹
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      東京電機大学、東京都
    • 年月日
      20121221-20121223
  • [学会発表] Context-free 2D Tree Structure Model of Musical Notes for Bayesian Modeling of Polyphonic Spectrograms2012

    • 著者名/発表者名
      Hirokazu Kameoka, Kazuki Ochiai, Masahiro Nakano, Masato Tsuchiya, Shigeki Sagayama
    • 学会等名
      International Society of Music Information Retrieval 2012
    • 発表場所
      Porto, Portugal
    • 年月日
      20121008-20121012
  • [学会発表] 多声MIDI演奏の楽譜追跡における装飾音のモデル化と自動伴奏への応用2012

    • 著者名/発表者名
      中村 栄太, 山本 龍一, 齋藤 康之, 酒向 慎司, 嵯峨山 茂樹
    • 学会等名
      2012年日本音響学会秋季研究発表会
    • 発表場所
      信州大学、長野県
    • 年月日
      20120919-20120921
  • [学会発表] 音楽演奏の誤りや反復に頑健な音響入力自動伴奏2012

    • 著者名/発表者名
      中村 友彦, 水野 優, 鈴木 孝輔, 中村 栄太, 樋口 祐介, 深山 覚, 嵯峨山 茂樹
    • 学会等名
      2012年日本音響学会秋季研究発表会
    • 発表場所
      信州大学、長野県
    • 年月日
      20120919-20120921
  • [学会発表] フレーズ構造の自動解析に基づく テンポ変動曲線の生成によるピアノ曲の演奏表情付け2012

    • 著者名/発表者名
      伊東 直哉, 深山 覚, 齋藤 大輔, 嵯峨山 茂樹
    • 学会等名
      2012年日本音響学会秋季研究発表会
    • 発表場所
      信州大学、長野県
    • 年月日
      20120919-20120921
  • [学会発表] 補助関数法による音楽音響信号へのMIDI信号の詳細なフィッティング2012

    • 著者名/発表者名
      高宗 典玄, 亀岡 弘和, 土屋 政人, 嵯峨山 茂樹
    • 学会等名
      2012年日本音響学会秋季研究発表会
    • 発表場所
      信州大学、長野県
    • 年月日
      20120919-20120921
  • [学会発表] Assistance for novice users on creating songs for Japanese lyrics2012

    • 著者名/発表者名
      Satoru Fukayama, Daisuke Saito, Shigeki Sagayama
    • 学会等名
      2012 International Computer Music Conference
    • 発表場所
      Ljubljana, Slovenia
    • 年月日
      20120909-20120914
  • [学会発表] 楽譜の文脈自由2次元木構造表現に基づく多重音スペクトログラム生成モデルによる音響信号からの自動採譜2012

    • 著者名/発表者名
      土屋 政人, 落合 和樹, 亀岡 弘和, 嵯峨山 茂樹
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      金沢近江町交流プラザ、石川県
    • 年月日
      20120809-20120811
  • [学会発表] 多声MIDI演奏の楽譜追跡における演奏の不確定性のモデル化と自動伴奏への応用2012

    • 著者名/発表者名
      中村 栄太,山本 龍一,酒向 慎司,齋藤 康之,嵯峨山 茂樹
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      金沢近江町交流プラザ、石川県
    • 年月日
      20120809-20120809
  • [学会発表] Automatic arrangement for guitars using hidden Markov model2012

    • 著者名/発表者名
      Gen Hori, Yuma Yoshinaga, Satoru Fukayama, Hirokazu Kameoka, Shigeki Sagayama
    • 学会等名
      International Conference on Sound and Music Computing
    • 発表場所
      Copenhagen, Denmark
    • 年月日
      20120712-20120714
  • [学会発表] Generation of Tempo Curve for Performance Rendering of Piano Music with Automatic Phrase Analysis2012

    • 著者名/発表者名
      Naoya Itou, Satoru Fukayama, Daisuke Saito, Shigeki Sagayama
    • 学会等名
      Workshop of Machine Learning for Music 2012
    • 発表場所
      London, UK
    • 年月日
      20120630-20120630
  • [学会発表] 確率的逆問題としての音楽の信号処理と情報処理2012

    • 著者名/発表者名
      嵯峨山 茂樹, 小野 順貴, 亀岡 弘和, 齋藤 大輔
    • 学会等名
      情報処理学会音楽情報科学研究会
    • 発表場所
      東京大学、東京都
    • 年月日
      20120602-20120603
    • 招待講演
  • [図書] "Statistical Approach to Automatic Expressive Rendition of Polyphonic Piano Music" in "Guide to Computing for Expressive Music Performance"2012

    • 著者名/発表者名
      Tae Hun Kim, S. Fukayama, T. Nishimoto, S. Sagayama (Kirke and Miranda, eds.)
    • 総ページ数
      36 / 257
    • 出版者
      Springer Verlag
  • [備考] 自動作曲システム Orpheus (オルフェウス)

    • URL

      http://www.orpheus-music.org/v3/

URL: 

公開日: 2014-07-24  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi