• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Implementing Vector-Based Representation for Music Melodies and Evaluation of Its Effectiveness

Research Project

Project/Area Number 19K20301
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionKomazawa University

Principal Investigator

Hirai Tatsunori  駒澤大学, グローバル・メディア・スタディーズ学部, 講師 (70780542)

Project Period (FY) 2019-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords音楽情報処理 / 分散表現 / メロディ検索 / 音楽生成 / メロディ / 機械学習 / 情報検索 / 創作支援
Outline of Research at the Start

本研究では,音楽のメロディを計算機で扱うことを目的としたメロディのベクトル表現の実現を目指す.
従来,音楽のメロディを計算機で扱うためには,音符の並びを記号と見なす記号論的なアプローチや,音の周波数を基にその特徴を数値として扱う信号処理的なアプローチがとられてきた.
本研究では新たなアプローチとして,記号としての音符の並びをベクトルという数値の並びで変換して表現するためのモデル化手法を検討する.さらに,得られたメロディのベクトルがそのメロディの特徴を捉えたものとなっているかについて,被験者実験を通じて検証することで,その有効性を示す.

Outline of Final Research Achievements

In this study, we proposed a method for establishing and evaluating a distributed representation method for dealing with musical melodies on computers, with the aim of proposing methods for modeling melodies, evaluating them, and implementing applications. Starting with the realization of vectorizing melodies, we proposed an objective and quantitative evaluation criteria for melodies, a model for calculating connection costs of melodies using the evaluation scale, among other things. Furthermore, we developed melody search interfaces and creative support systems for melody using the proposed models, and evaluated their effectiveness.
In addition, not only to handle melodies based on the traditional 12-tone equal temperament, but also to handle microtonal melodies outside the 12-tone equal temperament, we proposed interfaces that could handle the input of microtonal melodies in order to make them manageable on computers.

Academic Significance and Societal Importance of the Research Achievements

本研究では,これまでメロディを扱う上で主流だった記号論的アプローチに対し,大規模なデータに基づく深層学習によってモデル化するというデータ駆動型のアプローチによってより効果的にメロディを扱うための手法を提案した.さらに,提案したモデル化手法を応用し,その有効性を図るために検索や創作支援などの様々なアプリケーションを開発し,その一部については誰もが利用可能なオープンソースソフトウェアとして公開した.このように,基礎研究から始まりながらも,その成果を誰もが恩恵を受けられるアプリケーションの形で公開し,メロディに関する一貫した研究成果を上げることができたという点で意義がある研究であったと言える.

Report

(5 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (9 results)

All 2023 2022 2021 2020

All Journal Article (2 results) (of which Open Access: 1 results) Presentation (7 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] A Method for Calculating Melody Concatenation Cost based on BiLSTM2022

    • Author(s)
      Tatsunori Hirai, Shun Sawada
    • Journal Title

      Journal of Global Media Studies

      Volume: 31 Pages: 55-31

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Comparison of Deep Learning Models for Melody Generation2022

    • Author(s)
      Tatsunori Hirai
    • Journal Title

      Journal of Global Media Studies

      Volume: 29 Pages: 1-16

    • Related Report
      2021 Research-status Report
    • Open Access
  • [Presentation] 第9回国際会議既発表・デモ・萌芽・議論セッション:微分音の入力に対応したピアノロールの提案-ピッチクオンタイズと音声入力機能の実装-2023

    • Author(s)
      澤村 拓樹,長坂 らも,湯谷 承将,釜石 健太郎,廣田 曜,平井 辰典,池永 考志,木野 伊祐,半田 尚暉
    • Organizer
      情報処理学会研究報告2022-MUS-136(8)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 微分音を含む任意の音数の音律のデザインとそれを用いたメロディ打ち込みインタフェースの提案2022

    • Author(s)
      平井辰典
    • Organizer
      情報処理学会研究報告2022-MUS-134(41)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Redesigning a piano roll: A melody input interface that can play microtones with an arbitrary number of keys2022

    • Author(s)
      Tatsunori Hirai
    • Organizer
      Proceedings of the 19th Sound and Music Computing Conference
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 接続コストに基づく後続メロディ候補の提示によるメロディ打ち込み支援インタフェース2021

    • Author(s)
      平井辰典,澤田 隼
    • Organizer
      情報処理学会研究報告2021-MUS-132(13)
    • Related Report
      2021 Research-status Report
  • [Presentation] LSTMを用いたメロディ素片間の接続コストの算出2021

    • Author(s)
      平井辰典,澤田 隼
    • Organizer
      情報処理学会研究報告2021-MUS-131(41)
    • Related Report
      2021 Research-status Report
  • [Presentation] メロディを対象とした生成Deep Learningモデルの比較2021

    • Author(s)
      平井 辰典
    • Organizer
      情報処理学会音楽情報科学研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] Doc2vecの応用によるメロディ検索2020

    • Author(s)
      平井 辰典
    • Organizer
      音学シンポジウム2020
    • Related Report
      2020 Research-status Report 2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi