2008 Fiscal Year Annual Research Report
数理モデルに基づく音楽信号と音楽情報の解析・認識・加工・生成の研究
| Project/Area Number |
20240017
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
嵯峨山 茂樹 The University of Tokyo, 大学院・情報理工学系研究科, 教授 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 順貴 東京大学, 大学院・情報理工学系研究科, 講師 (80334259)
西本 卓也 東京大学, 大学院・情報理工学系研究科, 助教 (80283696)
|
|---|
| Keywords | 音楽解析 / 音楽検索 / 音楽加工 / 多重音 / 信号処理 |
|---|
| Research Abstract |
本年度は特に以下の課題に取り組んだ。
(1)音楽信号の特性に基づく解析、分離、加工スペクトログラムの二次元フーリエ領域における調波音と打楽器音の分離・強調を行い、実時間で処理できる方式を開発し、GUIを備えたソフトウェフを実現し、音楽イコライザや音楽解析や加工に応用した。
(2)楽音モデル(音符の音響モデル)に基づく多重音の検出、分離 音色を統合した調波・時間・音色構造化クラスタリング(「HTTC」)として、心理学の聴覚情景分析理論を動機とした音響エネルギーの調波時間構造化クラスタリング(HTC)に、音色も対象に加えて、音楽を聴き同一音色を追跡する人間の計算論的な聴覚情景分析の新しいモデル化を可能とする手法を検討した。また、非負行列分解(NMF)理論による多重音の解析、分解、可視化として、音楽のスペクトル時系列行列を、音色の基底ベクトル集合と活動時刻ベクトル集合の2つの正成分行列の積に展開することにより、多重音を含む音楽を解析した。
(3)音楽演奏信号とその楽譜との整合に基づく解析、分離、加工 モデルに基づく楽譜と音楽信号との詳細な整合アルゴリズムを開発し、実際の音楽演奏の楽譜からのdeviation dataを自動作成する技術開発に着手した。指定音符あるいは指定パートの信号消去、楽器カラオケ自動作成の検討を行った。
(4)「音楽モデル」に基づく音楽信号解析、演奏MIDI解析、自動採譜 作曲家(連携研究者の金子)とともに音声認識における言語モデルに相当する「音楽モデル」を目指して、和声進行のHMM化から信号からの和音認識、調性認識を行った。音楽理論のモデル化として、CFGおよび統計文法に基づく「音楽モデル」を構築するための検討を進めた。
5)音楽情報検索 リズムパターンの自動抽出、リズムに基づく楽曲自動分類、ジャンル認識、異なる編曲であっても曲の同一性を認識する手法(cover songidentification)などを研究した。
(6)自動作曲、自動運指決定その他の音楽情報処理 日本語歌詞の韻律を用いた自動作曲の数理定式化とアルゴリズム研究を行った。韻律、和声、リズムなどの制約条件下での最適化問題として自動作曲の数理アルゴリズムを研究した。また、ピアノ等のための自動運指決定も検討した。
[連携研究者]桐朋学園大学・音楽学部・講師 金子仁美 音楽理論、コンピュータ和声学の構築、実験評価
|
