2021 Fiscal Year Annual Research Report
Automatic transcription based on formal language theory
| Project/Area Number |
20H04302
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
酒井 正彦 名古屋大学, 情報学研究科, 教授 (50215597)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
東条 敏 北陸先端科学技術大学院大学, 先端科学技術研究科, 教授 (90272989)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | 自動採譜 / リズム量子化 / MIDI解析 / トークン |
|---|
| Outline of Annual Research Achievements |
本研究は、リズムの構造を考慮し自然言語の解析手法の応用により、MIDIデータからの自動採譜手法の確立を目指すことを主な目的としている。
本年度は主に和音を含む単旋律のリズム量子化について研究を進め、以下の成果が得られた。入力となるmidiイベント列の部分列（トークンと呼ぶ）を、同一時刻に起こる楽譜の単位とみなすことで、MIDI入力と楽譜の要素を対応付ける手法を考案した。具体的にイベントの部分列がトークンとみなせるかどうかを表すいくつかの条件について検討を行い、これをシステムに組み込んで実験を行うことで課題を整理した。このシステムは https://git.trs.css.i.nagoya-u.ac.jp/transcription/qparselib/-/tree/mono2 で公開している。その結果、各イベントが発生した時点で鳴っている音の数を前処理によりあらかじめ計算しておくことによって、処理中に入力のMIDIイベントを参照する範囲が限定でき、その結果効率よくトークンであるかどうかの判定ができることが分かった。また、各イベントを楽譜上の時刻に対応させる際の評価値の計算においてリズムの密度の単旋律における定義の拡張が必要であることが判明した。この評価値は出力の精度に大きく影響があると予想されるため注意が必要である。その他、音楽生成理論に基づく自動演奏に対する表情付アルゴリズムを改良し、それらの実験のためのプラットフォームを作成し公開した。（https://git.trs.css.i.nagoya-u.ac.jp/transcription/dm-env）
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
既存のいずれの自動採譜手法においても、MIDIイベントと楽譜の各要素の不一致の解消のために、音の鳴り始めを表すonイベントと音を止めるoffイベントのうちでoffイベントを無視したところから処理を開始していた。この処理により自動採譜におけるさまざまな問題を引き起こしていた。本年度の研究において、この不一致の問題がイベント系列の分かち書きの概念を導入することによって理論的にスッキリと説明でき、分かち書きを含む日本語文の解析に相当する手法を導入することにより解決する手法を考案した。これはブレークスルーとも言え、高精度な自動採譜への道筋が見えてきたといえる。
|
| Strategy for Future Research Activity |
これまでに定義した３種類のトークンは、異なる音の高さ（ピッチ）をもつ和音、休符、引き続き音が鳴っていることを表すコンティニュエーションである。ここで和音のトークンは複数の装飾音符を含められるように設計した。そこで、これらのアイデアを自動採譜システムに実装し、実験を行うことにより和音を含む単旋律の自動採譜の精度を高める方向での研究を進める。単旋律のみを扱う場合にも、和音の内まだ鳴り続けているのに一部の音が止まったり、スタッカートの取り扱いなどいくつもの課題が残っている。これらの問題点に対して新たなトークンを導入することで解決できるか、あるいは、他の解決方法を考案する必要があるかなどの検討をおこなう。これらが早期に解決できれば、複旋律が一緒に記録されたMIDI入力に対しても、リズム量子化と旋律分離を同時に行う手法についても検討したい。
|
Research Products
(5 results)
