連続音声認識手法を用いた音楽情報処理の研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 14380156
• Research Institution: The University of Tokyo
• Principal Investigator: 嵯峨山 茂樹 東京大学, 大学院・情報理工学系研究科, 教授 (00303321)
• Co-Investigator(Kenkyū-buntansha): 田原 鉄也 東京大学, 大学院・情報理工学系研究科, 科学技術振興特任研究員(常勤形態) (90272393) ; 西本 卓也 東京大学, 大学院・情報理工学系研究科, 助手 (80283696)
• Keywords: 音楽情報処理 / 連続音声認識 / 確率モデル / リズム認識 / ハーモニッククラスタリング / 自動和声づけ / Specmurt法 / 自動対位法

Research Abstract

1.テンポに依存しない多声音楽演奏からのリズム認識
テンポが未知である多声楽曲のMIDI演奏を対象としたリズム認識手法を検討した.多声楽曲のリズムを扱うためにリズム譜を導入し,多声部間IOIからリズム譜を推定する問題を,テンポに依存しない特徴量と音価のn-gram文法を含んだ隠れマルコフモデル(HMM)として定式化した.
2.多重音からの基本周波数の抽出(ハーモニック・クラスタリング)
多重音スペクトルから個々の音ごとに基本周波数の検出とスペクトル分離を行う手法について検討した.複数の調波構造が混在したスペクトルのモデルを,単一の調波構造をモデル化した拘束つき混合正規分布モデルを混合することで定式化した.この手法は基本周波数を連続値として高精度に推定できるという特徴をもつ.
3.基本周波数の解析手法(Specmurt法)
多重音を対象した基本周波数の解析手法としてSpecmurt法を提案した.多重音を構成する各音が共通した調波構造パターンのスペクトルを持つ場合,対数周波数軸上では,これらの互いの関係は同一の倍音パターン形状を平行移動した関係となる.これを,多重音の基本周波数の分布と共通調波構造パターンとの畳み込みと解釈し,フーリエ領域で除算を用いて逆畳み込みを行うことにより,基本周波数を辿続分布として求めることを実現した.
4.旋律への自動和声づけ
与えられた旋律を、和声の遷移を表現するHMMからの出力と見なして定式化し、Viterbi復号化アルゴリズムにより「隠れた」和声遷移を最尤推定することにより、与えられた旋律に対する自動和声づけを実現した.特にモデルの精緻化に関する検討の結果、主観評価などで有効性を確認した.
5.DP法に基づく対位法における対旋律候補の自動生成
与えられた定旋律に適合する対旋律を,対位法により自動生成するアルゴリズムを検討した。DP法にN-bestアルゴリズムを併用して一対一対位法の対旋律を得る手法を試みた.また一対二対位法に関して,二音一状態の探索空間にDP法を適用する事で,音程の規則に合う対旋律が得られる可能性を示した.

Research Products

• [Publications] 武田晴登, 西本 卓也, 嵯峨山 茂樹: "確率モデルによる多声音楽演奏のMIDI信号のリズム認識"情報処理学会論文誌. Vol.45・No.3. 670-679 (2004)
• [Publications] Hirokazu Kameoka, Takuya Nishimoto, Shigeki Sagayama: "Separation of Harmonic Structures Based on Tied Gaussian Mixture Model and Information Criterion for Concurrent Sounds"Proc.International Conference on Acoustics, Speech and Signal Processing (ICASSP 2004). (発表予定). (2004)
• [Publications] Hirokazu Kameoka, Takuya Nishimoto, Shigeki Sagayama: "Extraction of Multiple Fundamental Frequencies from Polyphonic Music Using harmonic Clustering"Proc.International Congress on Acoustics (ILCA). (発表予定). (2004)
• [Publications] Haruto Takeda, Takuya Nishmoto, Shigeki Sagayama: "Maximum Likelihood Method for Estimating Rhythm and Tempo"Proc.International Symposium on Music Acoustics (ISMA). (発表予定). (2004)
• [Publications] Hirokazu Kameoka, Takuya Nishimoto, Shigeki Sagayama: "Multipitch Detection Algorithm Using Constrained Gaussian Mixture Model and Information Criterion"Proc.Speech Prosody 2004. 533-536 (2004)
• [Publications] 亀岡 弘和, 西本 卓也, 嵯峨山 茂樹: "Harmonic-GMMの最尤推定と情報量規準に基づく多重音の基本周波数検出および調波構造分離"情報処理学会第66回全国大会予稿集. 2. 427-428 (2004)
• [Publications] 菅原啓太, 西本 卓也, 嵯峨山 茂樹: "HMMと音符連鎖確率を用いた旋律への自動和声付け"日本音響学会2004年春季研究発表会講演論文集. 1-9-2. 665-666 (2004)
• [Publications] 中潟 昌平, 西本 卓也, 嵯峨山 茂樹: "DP法に基づく対位法における複数の対旋律候補の自動生成"日本音響学会2004年春季研究発表会講演論文集. 1-9-3. 667-668 (2004)
• [Publications] 亀岡 弘和, 西本 卓也, 嵯峨山 茂樹: "拘束つき混合正規分布モデルのMAP推定による同時発話音声のFO追跡"日本音響学会2004年春季研究発表会講演論文集. 2-7-6. 275-276 (2004)
• [Publications] 織田 誠也, 亀岡 弘和, 西本 卓也, 嵯峨山 茂樹: "MAP推定を用いたHarmonic Clusteringによる多重音中の非調和性音源の調波構造検出"日本音響学会2004年春季研究発表会講演論文集. 2-9-3. 689-690 (2004)
• [Publications] 高橋 佳吾, 西本 卓也, 嵯峨山 茂樹: "対数周波数スペクトルの逆畳み込みによる基本周波数解析(Specmurt法)"日本音響学会2004年春季研究発表会講演論文集. 2-9-4. 691-692 (2004)
• [Publications] 武田 晴登, 西本 卓也, 嵯峨山 茂樹: "リズム語彙を用いたHMMによるMIDI演奏のリズムとテンポ推定"情報処理学会研究報告(MUS). (2004)
• [Publications] Hirokazu Kameoka, Takuya Nishimoto, Shigeki Sagayama: "Accurate F_0 Detection Algorithm for Concurrent Sounds Based on EM Algorithm and Information Criterion"Proc.Special Workshop in Maui (SWIM). (CD-ROM). (2004)
• [Publications] 菅原 啓太, 西本 卓也, 嵯峨山 茂樹: "HMMと音符連鎖確率を用いた旋律への自動和声付け"情報処理学会研究報告(MUS). 2003-MUS-53. 665-666 (2003)
• [Publications] 高橋 佳吾, 西本 卓也, 嵯峨山 茂樹: "対数周波数逆畳み込みによる多重音の基本周波数解析"情報処理学会研究報告(MUS). 2003-MUS-53. 61-66 (2003)
• [Publications] Haruto Takeda, Takuya Nishirnoto, Shigeki Sagayama: "Automatic Rhythm Transcription from Multiphonic MIDI Signals"Proc.4th International Conference on Music information Retrieval (ISMIR). 263-264 (2003)
• [Publications] 亀岡 弘和, 西本 卓也, 嵯峨山 茂樹: "ハーモニック・クラスタリングによる多重音基本周波数における音源数 およびオクターブ位置の推定"日本音響学会2003年秋季研究発表会講演論文集. 639-640 (2003)
• [Publications] 武田 晴登, 西本 卓也, 嵯峨山 茂樹: "確率モデルによるMIDI演奏のテンポ変化時点の検出"日本音響学会2003年秋季研究発表会講演論文集. 1-1-5. 645-646 (2003)
• [Publications] 亀岡 弘和, 西本 卓也, 嵯峨山 茂樹: "ハーモニック・クラスタリングによる多重音信号音高抽出における音源数とオクターブ位置推定"情報処理学会研究報告(MUS). 2003-MUS-53. 29-34 (2003)
• [Publications] 亀岡 弘和, 西本 卓也, 篠田 浩一, 嵯俄山 茂樹: "ハーモニッククラスタリングによる多重音基本周波数推定アルゴリズム"情報処理学会研究報告(MUS). 2003-MUS-50. 33-38 (2003)
• [Publications] 武田 晴登, 西本 卓也, 嵯峨山 茂樹: "リズムベクトルを用いたMIDI演奏データからのテンポの変動の推定"情報処理学会研究報告(MUS). 2003-MUS-51. 59-64 (2003)