連続音声認識手法を用いた音楽情報処理の研究

2002 年度 実績報告書

• 研究課題/領域番号: 14380156
• 研究機関: 東京大学
• 研究代表者: 嵯峨山 茂樹 東京大学, 大学院・情報理工学系研究科, 教授 (00303321)
• 研究分担者: 田原 鉄也 東京大学, 大学院・情報理工学系研究科, 科学技術振興特任教員(常勤形態) (90272393) ; 篠田 浩一 東京大学, 大学院・情報理工学系研究科, 助教授 (10343097)
• キーワード: 自動採譜 / MIDI信号 / 連続音声認識手法 / リズムベクトル / 隠れマルコフモデル / 音長変動モデル / 音価列モデル

研究概要

連続音声認識の方法論を用いた高度な音楽情報処理手法の即発を開始した.初年度としては、演奏から楽譜を推定復元する自動採譜の問題を扱った。
MIDI楽器で演奏された音楽信号では、音高は容易に知られるが、音長(観測される音の長さ)から音価(音符が意味する長さ)を一意的に推定することは難しく、市販のソフトでは奇妙な楽譜が出力されることが多い。我々はこの問題を連続音声認識の方法論と同型の問題として扱った。音符の列には、たとえば付点四分音符の後には八分音符が来やすい、などの確率約な文法が存在する。また、各音符の物理的音長は音価から確率的に変動するとモデル化できる。この二段階の確率構造の問題は連続音声認識における文法と音素モデルの組合せに同型で、隠れマルコフモデル(HMM)で表現できる.この枠組により音価推定、拍節推定、拍子推定、変動テンポ推定などの従来別々に扱われて来た問題が統一的な手法により解決できることを示し、実験により実証した。
さらに、隣接する3音符の音長比のベクトルを、テンポに依存しない特徴量としてリズムベクトル」と名付け、その分布を実演奏データから学習した。この特徴量を観測入力とし、HMMのViterbi経路推定アルプリズムにより音価列を推定した。その結果、市販のMIDIソフトでは復元が困難な演奏から,従来より高い精度で楽譜復元が行えた.
以上と並行して、演奏の音響信号から楽譜を復元するために、多重音(和音)のピッチ解析の問題に周波数軸方向の動的計画法を適用して、精度の高い音推定を行った。また、フレームごとに推定された複数ピッチ周波数を、HMMを用いて滑らかにつないで時間方向の複数の軌跡として求める手法も開発した.
今後はさらに精度の高い複数ピッチ音響信号のピッチ推定法を開発する.また、与えられた旋律に対し、その背後に隠れいてる,和声を推定することにより自動和声づけを行なう。

研究成果

• [文献書誌] 亀岡 弘和, 西本 卓也, 篠田 浩一, 嵯峨山 茂樹: "ハーモニッククラスタリングによる多重音の基本周波数推定"日本音響学会2003年春季研究発表会講演論文集. 3-7-3. (2003)
• [文献書誌] 武田 晴登, 西本 卓也, 篠田 浩一, 嵯峨山 茂樹: "HMMを用いた多声部MIDI信号からの楽譜復元"日本音響学会2003年春季研究発表会講演論文集. 3-7-4. (2003)
• [文献書誌] Haruto Takeda, Koichi Shinoda, Shigeki Sagayama: "Hidden Markov Model for Automatic Transcription of MIDI Signals"Proceedings of 2002 IEEE Workshop on Multimedia Signal Processing. (CD-ROM). (2002)
• [文献書誌] 亀岡 弘和, 篠田 浩一, 嵯峨山 茂樹: "スペクトル領域のDPマッチングによる自然楽器演奏の多重音解析"日本音響学会2003年秋季研究発表会講演論文集. 1-1-2. 639-640 (2002)
• [文献書誌] 武田 晴登, 篠田 浩一, 嵯峨山 茂樹: "リズムベクトルの概念に基づくMIDI演奏の音価認識"情報処理学会研究報告. 2002-MUS-46-4. 23-28 (2002)
• [文献書誌] 亀岡 弘和, 篠田 浩一, 嵯峨山 茂樹: "周波数領域のDPマッチングによる自然楽器演奏の和音ピッチ推定"情報処理学会研究報告. 2002-MUS-46-3. 17-22 (2002)