• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2014 Fiscal Year Annual Research Report

音楽の作曲・演奏・信号の数理モデルを融合する音楽音響情報処理の研究

Research Project

Project/Area Number 26240025
Research InstitutionMeiji University

Principal Investigator

嵯峨山 茂樹  明治大学, 公私立大学の部局等, 教授 (00303321)

Co-Investigator(Kenkyū-buntansha) 小野 順貴  国立情報学研究所, 大学共同利用機関等の部局等, 准教授 (80334259)
堀 玄  亜細亜大学, 経営学部, 教授 (60322658)
堀内 靖雄  千葉大学, 融合科学研究科(研究院), 准教授 (30272347)
中村 和幸  明治大学, 公私立大学の部局等, 准教授 (40462171)
北原 鉄朗  日本大学, 文理学部, 准教授 (00454710)
齋藤 康之  木更津工業高等専門学校, その他部局等, 准教授 (40331996)
Project Period (FY) 2014-04-01 – 2017-03-31
Keywords自動作曲 / 自動伴奏 / 演奏支援 / 自動編曲 / 運指決定 / 自動和声付け / 隠れマルコフモデル / 音楽情報処理
Outline of Annual Research Achievements

本研究は、音楽の作曲・演奏・信号の3階層間の融合処理を目指すもので、以下のような多彩な成果を得た。ユーザーによる誤りや任意の弾き直し・弾き飛ばしを含む演奏に追従できる自動伴奏技術の研究・開発を行い、遷移確率行列がベクトルの外積で表されるHMM(隠れマルコフモデル)を考案して計算量を大幅に低減するアルゴリズムを導出し、楽譜追跡の精度が向上することも確認した。緩く同期した多声部の演奏を記述する出力合流HMMを考案し、楽譜追跡、ピアノ運指の自動決定とリズム採譜の精度向上を検証・確認した。ステレオ音楽音響信号に対し、時間周波数領域の位相差に情報を埋め込む頑健な音響電子透かしの手法を開発し、国際会議IIHMSPで優秀論文賞を受賞した。HMMによるギターのための自動編曲では自動的に最適な移調を決定する方法を提案した。ギター演奏者の左手と右手を独立にモデリングすることにより、ギターに特徴的な 演奏法を利用する自動編曲が可能となることを示した。伴奏システムにおいて、人間の演奏リハーサルによりテンポ変化プランを推定し、テンポ変化の大きな楽曲に対し、追従性能を向上した。名演奏の合奏の録音データを詳細解析し、間同士の合奏で互いに聴き合いテンポ制御するモデルを実現し、録音された合奏データでの評価実験で予測精度の向上を確認した。ギターを計算機への入力手段として活用するために、ギター演奏をMIDI化する技術の開発に取り組んだ。メロディをより抽象度の高い表現に変換し、専門知識なしにメロディの操作・加工を実現する方法を検討した。ジェスチャ認識による自動譜めくり、MIDIファイルからのタテ線譜の生成、画像の印象にマッチした楽曲の半自動生成、ARによる古墳の遺物と発掘調査状況の表示と雰囲気にあった楽曲生成、既存の楽曲のダンス調への変換、自動伴奏の表現力向上のためのMIDI演奏表情付けの基礎検討を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

おおむね順調と言ってよいであろう。研究成果も順調に生み出せているし、分担者同士の交流や協力関係もうまく行っている。予期しなかったことは、年度途中で研究員が辞職したことであるが、直ちに後任の募集を行って決定した。

Strategy for Future Research Activity

後任の研究員については、特性に合わせて研究テーマを少し別方向から開始し、やがて計画通りの路線に繋げる方針を取った。また、それに伴って、予算の一部を翌年度に繰り越した。

  • Research Products

    (28 results)

All 2015 2014

All Journal Article (25 results) (of which Peer Reviewed: 15 results,  Acknowledgement Compliant: 25 results) Presentation (3 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] 既存の楽曲のダンス調への変換2015

    • Author(s)
      藤井 康平, 齋藤 康之
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: 1 Pages: 61-64

    • Acknowledgement Compliant
  • [Journal Article] ジェスチャ認識による自動譜めくりに関する研究2015

    • Author(s)
      地曳 はるか, 齋藤 康之
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: ME2015-51 Pages: 61-64

    • Acknowledgement Compliant
  • [Journal Article] Harmonic/Percussive Sound Separation based on Anisotropic Smoothness of Spectrograms2014

    • Author(s)
      Hideyuki Tachibana, Hirokazu Kameoka, Nobutaka Ono and Shigeki Sagayama
    • Journal Title

      IEEE/ACM Trans. ASLP

      Volume: vol. 22, no. 12 Pages: 2059 - 2073

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Outer-Product Type Hidden Markov Model and Polyphonic MIDI Score Following2014

    • Author(s)
      Eita Nakamura, Tomohiko Nakamura, Yasuyuki Saito, Nobutaka Ono and Shigeki Sagayama
    • Journal Title

      Journal of New Music Research

      Volume: vol. 43, no. 2 Pages: 183 - 201

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Singing Voice Enhancement in Monaural Music Signals Based on Two-stage Harmonic/Percussive Sound Separation on Multiple Resolution Spectrograms2014

    • Author(s)
      Hideyuki Tachibana, Nobutaka Ono and Shigeki Sagayama
    • Journal Title

      IEEE/ACM Trans. ASLP

      Volume: ASLP, vol. 22, no. 1 Pages: 228 - 237

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Harmonic-Temporal Factor Decomposition Incorporating Music Prior Information for Informed Monaural Souce Separation2014

    • Author(s)
      Tomohiko Nakamura, Kotaro Shikata, Norihiro Takamune and Hirokazu Kameoka
    • Journal Title

      Proc. 15th International Society for Music Information Retrieval Conference (ISMIR2014)

      Volume: 1 Pages: 623 - 628

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Fast Signal Reconstruction from Magnitude Spectrogram of Continuous Wavelet Transform based on Spectrogram Consistency2014

    • Author(s)
      Tomohiko Nakamura and Hirokazu Kameoka
    • Journal Title

      Proc. 17th International Conference on Digital Audio Effects (DAFx-14)

      Volume: 1 Pages: 129 - 135

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Timbre Replacement of Harmonic and Drum Components for Music Audio Signals2014

    • Author(s)
      Tomohiko Nakamura, Hirokazu Kameoka, Kazuyoshi Yoshii and Masataka Goto
    • Journal Title

      Proc. 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2014)

      Volume: 1 Pages: 7520 - 7524

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Tempo Prediction Model for Accompaniment System2014

    • Author(s)
      Shizuka Wada, Yasuo Horiuchi, Shingo Kuroiwa
    • Journal Title

      Proceedings of ICMC & SMC 2014 Joint Conference

      Volume: 1 Pages: 1298 - 1303

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Four-part Harmonization Using Bayesian Networks: Pros and Cons of Introducing Chord Nodes2014

    • Author(s)
      Syunpei Suzuki and Tetsuro Kitahara
    • Journal Title

      Journal of New Music Research

      Volume: Vol.43, No.3 Pages: 331--353

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Automatic music accompaniment allowing errors and arbitrary repeats and jumps2014

    • Author(s)
      Automatic music accompaniment allowing errors and arbitrary repeats and jumps
    • Journal Title

      Proc. Meetings on Acoustics (POMA)

      Volume: vol. 21 Pages: 035003

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 出力合流隠れマルコフモデルに基づく多声部音楽のリズム採譜2014

    • Author(s)
      中村 栄太, 小野 順貴, 嵯峨山 茂樹
    • Journal Title

      情報処理学会研究報告

      Volume: 2014-MUS-104(8) Pages: 1-7

    • Acknowledgement Compliant
  • [Journal Article] Robust Audio Information Hiding Based on Stereo Phase Difference in Time-frequency Domain2014

    • Author(s)
      Nobutaka Ono
    • Journal Title

      Proc. IIHMSP

      Volume: 1 Pages: 260-263

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 伴奏システムのための演奏時刻予測モデル2014

    • Author(s)
      和田静花, 堀内靖雄, 黒岩眞吾
    • Journal Title

      情報処理学会研究報告[音楽情報科学],

      Volume: 2015-MUS-106(9) Pages: 1--6

    • Acknowledgement Compliant
  • [Journal Article] 伴奏システムにおける独奏者の演奏意図学習のためのリハーサル2014

    • Author(s)
      山田彩歌, 堀内靖雄, 黒岩眞吾
    • Journal Title

      情報処理学会研究報告[音楽情報科学]

      Volume: 2015-MUS-106(7) Pages: 1-6

    • Acknowledgement Compliant
  • [Journal Article] HMM-based automatic arrangement for guitars with transposition and its implementation2014

    • Author(s)
      Gen Hori, Shigeki Sagayama
    • Journal Title

      Proc. Joint ICMC|SMC

      Volume: 1 Pages: 1257-1262

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] CrestMuse Toolkit: A Java-based Framework for Signal and Symbolic Music Processing2014

    • Author(s)
      Tetsuro Kitahara and Haruhiro Katayose
    • Journal Title

      Proceedings of 12th IEEE International Conference on Signal Processing (ICSP 2014)

      Volume: 1 Pages: 616--620

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] An On-line Algorithm of Guitar Performance Transcription Using Non-negative Matrix Factorization2014

    • Author(s)
      Masaki Otsuka and Tetsuro Kitahara
    • Journal Title

      Proceedings of 12th IEEE International Conference on Signal Processing (ICSP 2014)

      Volume: 1 Pages: 621--624

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Short-term and Long-term Evaluations of Melody Editing Method based on Melodic Outline2014

    • Author(s)
      Tetsuro Kitahara and Yuichi Tsuchiya
    • Journal Title

      Proceedings of the Joint Conference of the 40th International Computer Music Conference (ICMC 2014) and the 11th Sound and Music Computing Conference (SMC 2014)

      Volume: 1 Pages: 1204--1211

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Music Synchronizer with Runner's Pace for Supporting Steady Pace Jogging2014

    • Author(s)
      Tetsuro Kitahara, Shunsuke Hokari, and Tatsuya Nagayasu
    • Journal Title

      HCI International 2014 - Posters’ Extended Abstracts, Communications in Computer and Information Science

      Volume: Vol.435 Pages: 343--348

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] IDIギターの精度向上を目指した音響信号処理の検討2014

    • Author(s)
      大塚 匡紀, 北原 鉄朗
    • Journal Title

      情報処理学会 音楽情報科学 研究報告

      Volume: 2014-MUS-103-15 Pages: 65--70

    • Acknowledgement Compliant
  • [Journal Article] ARによる古墳の遺物と発掘調査状況の表示と雰囲気にあった楽曲生成2014

    • Author(s)
      原 利充, 鈴木 德彦, 根本 彩惠, 齋藤 康之, 奥住 淳
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: ME2015-38 Pages: 13-16

    • Acknowledgement Compliant
  • [Journal Article] 画像の印象にマッチした楽曲の半自動生成に関する研究2014

    • Author(s)
      根本 彩惠, 齋藤 康之
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: ME2015-37 Pages: 9-12

    • Acknowledgement Compliant
  • [Journal Article] MIDIファイルからのタテ線譜の生成に関する研究2014

    • Author(s)
      佐藤 陸, 齋藤 康之, 阿方 俊, 嵯峨山 茂樹
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: ME2015-36 Pages: 5-8

    • Acknowledgement Compliant
  • [Journal Article] 自動伴奏の表現力向上のためのMIDI演奏表情付け2014

    • Author(s)
      石田 海斗, 齋藤 康之
    • Journal Title

      映像情報メディア学会 メディア工学研究会技術報告

      Volume: ME2015-35 Pages: 1--4

    • Acknowledgement Compliant
  • [Presentation] A Preliminary Experiment of Predicting Muscle Activity from Musical Acoustic Features2014

    • Author(s)
      Tetsuro Kitahara, Shogo Matsukata, Masaki Matsubara, and Hiroko Terasawa
    • Organizer
      7th International Workshop on Machine Learning and Music (MML 2014)
    • Place of Presentation
      Barcelona, Spain
    • Year and Date
      2014-11-28 – 2014-11-28
  • [Presentation] Towards Improvement of Transcription Accuracy of MIDI Guitar based on Integration with Audio Signal Processing2014

    • Author(s)
      Masaki Otsuka and Tetsuro Kitahara
    • Organizer
      The 15th Annual Meeting of the International Society for Music Information Retrieval (ISMIR 2014)
    • Place of Presentation
      Taipei, Taiwan
    • Year and Date
      2014-10-27 – 2014-10-31
    • Int'l Joint Research
  • [Presentation] Automatic music accompaniment allowing errors and arbitrary repeats and jumps2014

    • Author(s)
      Shigeki Sagayama, Tomohiko Nakamura, Eita Nakamura, Yasuyuki Saito, Hirokazu Kameoka and Nobutaka Ono
    • Organizer
      American Acoustic Society
    • Place of Presentation
      Providence, Rhode Island, USA
    • Year and Date
      2014-05-05 – 2014-05-09
    • Int'l Joint Research / Invited

URL: 

Published: 2017-01-06  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi