2011 Fiscal Year Annual Research Report
統計的信号処理と音楽理論を融合する多面的音楽処理の研究
| Project/Area Number |
23240021
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
嵯峨山 茂樹 東京大学, 大学院・情報理工学系研究科, 教授 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 順貴 国立情報学研究所, 情報学プリンシプル研究系, 准教授 (80334259)
|
|---|
| Keywords | 多重音解析 / 楽音分離加工 / 和声モデル / 多声部リズムモデル / 音楽構造解析 / 自動作曲 / 自動編曲 / 自動演奏 |
|---|
| Research Abstract |
主な成果は、1)自動採譜・分離・加工に必須の多重音解析に関しては、a)音符のアタックをモデル化した混合ガウスモデル(GMMによる音符分解、b)単音中の打撃・継続・終了やビブラートなどのなど非定常音を表現する多状態非負行列分解(NMF)理論を提唱して画期的技術を開発した。(2)楽音分離加工に関しては、a)調波音と打楽器音の分離(HPSS)を一般化した多解像度スペクトル分析手法、b)合奏音楽中の歌唱の抽出・消去・検出、旋律追跡を開発した。(3)和声モデルに関しては、a)機能和声ラベルデータベースの拡充、b)確率モデルによる調・和声推定を、(4)リズムモデルに関しては、a)多声音楽のリズムの確率文脈自由文法を提唱して解析アルゴリズムと自動学習アルゴリズムを開拓し、自動採譜への応用を開始した。(5)音楽認識に関しては、a)音楽信号を構造解析して曲中の相互類似箇所を見つける高速アルゴリズムと情報圧縮への応用と、b)MIDIデータから作曲家認識する手法を開発した。(6)自動作曲に関しては、a)多様性を大幅に拡大し、b)新しい多機能のwebインタフェースOrpheus Ver 3を公開した。(7)音楽演奏モデルに関しては、a)ピアノ楽譜データから人間的な演奏を自動生成する技術を開発し、学習データの演奏者の個性を反映できた。b)ギター楽譜の自動運指決定とピアノ曲からの自動編曲のアルゴリズムを開発し、c)ピアノ楽譜の任意のジャンプを許す自動伴奏の多様な問題を解決した。桐朋学園大学、NTTコミュニケーション科学基礎研究所、フランスINRIA Rennes(共同で国際ワークショップも開催)、パリ第七大学、亜細亜大学、名古屋工業大学、木更津高専と共同研究した。自動作曲に関しては、一般からの利用回数が累積で10万曲を超え、TV放送では数回にわたって紹介された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度としては、申請時点での綿密な計画により、計画と実行がほぼ一致した。部分的には期待を上回る成果も得られた。また、共同研究が期待以上の成果を生み、本課題の遂行が進展した。
|
| Strategy for Future Research Activity |
計画通りに順調に進んでいるので、基本的には今後も計画通り推進する。重点課題としては、多重音解析において単音のモデルベースのアプローチと、非負値行列分解のようなポトムアップのアプローチを融合したい。次に、音楽音響信号からの自動採譜において(西洋)音楽の文法的扱いとその自動学習アルゴリズムを開拓し、音響信号の多重音解析と統合して、連続音声認識などと同型の解法を実現したい。また、音楽の自動構造解析において、高速演算アルゴリズムを確立して、それを音楽信号の圧縮符号化や、自動演奏に応用したい。自動伴奏の研究では、弾き誤りや音抜けや余分な音や弾き直しなどに対処できる音響信号への自動伴奏を実現したい。自動編曲では、ピアノ曲のギター曲への自動編曲の数理的ない定式化と手法を確立したい。自動作曲では、従来より詳細な設定を可能にし、ユーザインタフェースを充実させ、自動作詞機能も向上させたい。以上を含む研究を、単独で、あるいはNTTコミュニケーション科学研究所、フランスINRIA Rennes、桐朋学園大学、名古屋工業大学、亜細亜大学、木更津高専らと共同研究により遂行する。
|
