Automated transcription based on formal language theory
| Project/Area Number |
23K20392
|
|---|
| Project/Area Number (Other) |
20H04302 (2020-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2020-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
酒井 正彦 名古屋大学, 情報学研究科, 教授 (50215597)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
東条 敏 亜細亜大学, 経営学部, 教授 (90272989)
中澤 巧爾 名古屋大学, 情報学研究科, 准教授 (80362581)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥15,990,000 (Direct Cost: ¥12,300,000、Indirect Cost: ¥3,690,000)
Fiscal Year 2024: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2023: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
Fiscal Year 2022: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2020: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
|
|---|
| Keywords | 自動採譜 / リズム量子化 / MIDIイベントのトークン化 / 演奏への表情付け / 生成音楽理論 / MIDI解析 / トークン / MIDI演奏 / テンポと拍子の取得 |
|---|
| Outline of Research at the Start |
演奏によって得られたMIDIデータからの品質の高い採譜手法の確立をめざす。演奏は楽譜以上の情報を持つため、演奏のリズムの推定など自動採譜における困難な課題がある。演奏のリズムの推定は、これまでMIDIのノートオン（音のなり始め）イベントの時刻から、（何拍目かという）楽譜上の時刻への対応関係のうち、誤差の少ない関係を出力していた、本研究では、MIDIのイベントの集まりをトークンと呼ぶ塊に分け、その時刻から楽譜上の時刻への対応関係を予測する。これに加えて、リズムを表す重み付き木文法を考慮することで、得られる楽譜の読みやすさをも考慮した自然でリズムが得られることを目指す。
|
| Outline of Annual Research Achievements |
本研究は、リズムの構造を考慮し自然言語の解析手法の応用により、MIDIデータからの自動採譜手法の確立を目指すことを主な目的としている。
本年度は主に和音を含む単旋律のリズム量子化について研究を進め、以下の成果が得られた。入力となるmidiイベント列の部分列（トークンと呼ぶ）を、同一時刻に起こる楽譜の単位とみなすことで、MIDI入力と楽譜の要素を対応付ける手法を考案した。具体的にイベントの部分列がトークンとみなせるかどうかを表すいくつかの条件について検討を行い、これをシステムに組み込んで実験を行うことで課題を整理した。このシステムは https://git.trs.css.i.nagoya-u.ac.jp/transcription/qparselib/-/tree/mono2 で公開している。その結果、各イベントが発生した時点で鳴っている音の数を前処理によりあらかじめ計算しておくことによって、処理中に入力のMIDIイベントを参照する範囲が限定でき、その結果効率よくトークンであるかどうかの判定ができることが分かった。また、各イベントを楽譜上の時刻に対応させる際の評価値の計算においてリズムの密度の単旋律における定義の拡張が必要であることが判明した。この評価値は出力の精度に大きく影響があると予想されるため注意が必要である。その他、音楽生成理論に基づく自動演奏に対する表情付アルゴリズムを改良し、それらの実験のためのプラットフォームを作成し公開した。（https://git.trs.css.i.nagoya-u.ac.jp/transcription/dm-env）
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
既存のいずれの自動採譜手法においても、MIDIイベントと楽譜の各要素の不一致の解消のために、音の鳴り始めを表すonイベントと音を止めるoffイベントのうちでoffイベントを無視したところから処理を開始していた。この処理により自動採譜におけるさまざまな問題を引き起こしていた。本年度の研究において、この不一致の問題がイベント系列の分かち書きの概念を導入することによって理論的にスッキリと説明でき、分かち書きを含む日本語文の解析に相当する手法を導入することにより解決する手法を考案した。これはブレークスルーとも言え、高精度な自動採譜への道筋が見えてきたといえる。
|
| Strategy for Future Research Activity |
これまでに定義した３種類のトークンは、異なる音の高さ（ピッチ）をもつ和音、休符、引き続き音が鳴っていることを表すコンティニュエーションである。ここで和音のトークンは複数の装飾音符を含められるように設計した。そこで、これらのアイデアを自動採譜システムに実装し、実験を行うことにより和音を含む単旋律の自動採譜の精度を高める方向での研究を進める。単旋律のみを扱う場合にも、和音の内まだ鳴り続けているのに一部の音が止まったり、スタッカートの取り扱いなどいくつもの課題が残っている。これらの問題点に対して新たなトークンを導入することで解決できるか、あるいは、他の解決方法を考案する必要があるかなどの検討をおこなう。これらが早期に解決できれば、複旋律が一緒に記録されたMIDI入力に対しても、リズム量子化と旋律分離を同時に行う手法についても検討したい。
|
Report
(2 results)
Research Products
(9 results)
