• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Automated transcription based on formal language theory

Research Project

Project/Area Number 23K20392
Project/Area Number (Other) 20H04302 (2020-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2020-2023)
Section一般
Review Section Basic Section 62040:Entertainment and game informatics-related
Research InstitutionNagoya University

Principal Investigator

酒井 正彦  名古屋大学, 情報学研究科, 教授 (50215597)

Co-Investigator(Kenkyū-buntansha) 東条 敏  亜細亜大学, 経営学部, 教授 (90272989)
中澤 巧爾  名古屋大学, 情報学研究科, 准教授 (80362581)
Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000)
Fiscal Year 2024: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2023: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Keywords自動採譜 / リズム量子化 / MIDIイベントのトークン化 / トークン / MIDI解析 / 演奏への表情付け / 生成音楽理論 / MIDI演奏 / テンポと拍子の取得
Outline of Research at the Start

演奏によって得られたMIDIデータからの品質の高い採譜手法の確立をめざす。演奏は楽譜以上の情報を持つため、演奏のリズムの推定など自動採譜における困難な課題がある。演奏のリズムの推定は、これまでMIDIのノートオン(音のなり始め)イベントの時刻から、(何拍目かという)楽譜上の時刻への対応関係のうち、誤差の少ない関係を出力していた、本研究では、MIDIのイベントの集まりをトークンと呼ぶ塊に分け、その時刻から楽譜上の時刻への対応関係を予測する。これに加えて、リズムを表す重み付き木文法を考慮することで、得られる楽譜の読みやすさをも考慮した自然でリズムが得られることを目指す。

Outline of Annual Research Achievements

本研究は、リズムの構造を考慮し自然言語の解析手法の応用により、MIDIデータからの自動採譜手法の確立を目指すことを主な目的としている。
今年度は、これまでに考案したMIDIイベント系列をグループ化して得られるトークンの種類とそれぞれの種類のトークンごとにその妥当性の判定条件を精査した。それに基づいてこれまでの単旋律のMIDI演奏からの自動採譜システムを、和音を含む演奏に対応するよう拡張した。
トークンは楽譜上の単一時間に属するオブジェクトを表す。和音を含む単旋律におけるトークンの種類を、装飾音符を含むことのできる和音、休符、和音の一部の音が鳴り止むことを表す部分的連続の3種類に分類しその判定条件を示した。これらのトークンを楽譜時間に対応させる道具として、リズムを表現する木文法を用いることによるリズム量子化アルゴリズムを示した。このアルゴリズムでは、候補となるそれぞれのリズム木からMIDIイベントのグループ化を行うための時間区間を定めることで探索空間を大幅に狭めることで効率化を行っている。さらにこのアルゴリズムを実装したプログラムmonoparseのソースコードを公開した。
この他、自然言語の構文解析と同様な手法により、楽曲のコード進行の分析を行うための枠組みを提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

MIDIからの自動採譜を、MIDIイベンのグループ化によるトークン列と、各トークンを楽譜時間への割当と捉えることができることが判明したことは今後の自動採譜の指針となりうる結果である。

Strategy for Future Research Activity

トークン列に基づく自動採譜が複数の旋律を扱うことができないことへの対処が必要である。一方で、これまでの旋律分離の研究のほとんどはリズム量子化済みであることを仮定しているため、リズム量子化を行っていないデータに対する旋律分離が必要となる。今後は、一般に期待される旋律分離としては不十分であるが、トークン列に基づく自動採譜のためには十分な性質を持つ旋律分離の手法の開発を進める。

Report

(4 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (19 results)

All 2024 2023 2022 2021 2020 Other

All Int'l Joint Research (6 results) Journal Article (7 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (1 results) Remarks (5 results)

  • [Int'l Joint Research] ヨハネスケプラー大学(オーストリア)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] INRIA(フランス)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] INRIA(フランス)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] ウイーン工科大学(オーストリア)

    • Related Report
      2021 Annual Research Report
  • [Int'l Joint Research] INRIA(フランス)

    • Related Report
      2020 Annual Research Report
  • [Int'l Joint Research] ウイーン工科大学(オーストリア)

    • Related Report
      2020 Annual Research Report
  • [Journal Article] Chord Progression Analysis by Labelled Lambek Calculus2024

    • Author(s)
      Matteo Bizzarri, Satoshi Tojo
    • Journal Title

      Proceeding of ICNMC

      Volume: to be published

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 8+8=4: Formalizing Time Units to Handle Symbolic Music Durations2023

    • Author(s)
      Emmanouil Karystinaios, Francesco Foscarin, Florent Jacquemard, Masahiko Sakai, Satoshi Tojo, Gerhard Widmer
    • Journal Title

      Peoceeding of CMMR 2023

      Volume: 2c0O6

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] 演奏MIDIのリズム量子化のためのトークン化の提案2023

    • Author(s)
      天春 陽介, 酒井 正彦
    • Journal Title

      情報処理学会研究報告

      Volume: 2024-MUS-139

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Automatic Phrasing System for Expressive Performance Based on The Generative Theory of Tonal Music2023

    • Author(s)
      Madoka Goto, Masahiko Sakai and Satoshi Tojo
    • Journal Title

      Proceeding of CMMR 2023

      Volume: 4c-P2

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Chord Function Recognition as Latent State Transition2022

    • Author(s)
      Uehara Yui、Tojo Satoshi
    • Journal Title

      SN Computer Science

      Volume: 3 Issue: 6 Pages: 1-18

    • DOI

      10.1007/s42979-022-01395-4

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Simulated Emergence of Chord Function2021

    • Author(s)
      Uehara Yui、Tojo Satoshi
    • Journal Title

      EvoMUSART 2021

      Volume: LNCS 12693 Pages: 264-280

    • DOI

      10.1007/978-3-030-72914-1_18

    • ISBN
      9783030729134, 9783030729141
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ASAP: a dataset of aligned scores and performances for piano transcription2020

    • Author(s)
      Francesco Foscarin, Andrew McLeod, Philippe Rigaux, Florent Jacquemard, and Masahiko Sakai
    • Journal Title

      ISMIR 2020

      Volume: 1 Pages: 534-541

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 自動演奏への表情付けのための生成音楽理論に基づくフレーズ情報の生成法2022

    • Author(s)
      後藤 円香, 酒井 正彦, 東条 敏
    • Organizer
      第135回音楽情報科学研究発表会, 情報処理学会
    • Related Report
      2021 Annual Research Report
  • [Remarks] qparselib for transcription

    • URL

      https://git.trs.css.i.nagoya-u.ac.jp/transcription/qparselib

    • Related Report
      2023 Annual Research Report
  • [Remarks] An extended kern2dm

    • URL

      https://git.trs.css.i.nagoya-u.ac.jp/transcription/humextra/-/tree/kern2dm

    • Related Report
      2022 Annual Research Report
  • [Remarks] An environment for expressive performaces

    • URL

      https://git.trs.css.i.nagoya-u.ac.jp/transcription/dm-env

    • Related Report
      2022 Annual Research Report
  • [Remarks] Sample performances

    • URL

      https://www.trs.css.i.nagoya-u.ac.jp/projects/expressive-performace/ExprPerf/html/

    • Related Report
      2022 Annual Research Report
  • [Remarks] qparse library for rhythm transcription

    • URL

      https://qparse.gitlabpages.inria.fr/

    • Related Report
      2021 Annual Research Report 2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi