2012 Fiscal Year Annual Research Report
統計的信号処理と音楽理論を融合する多面的音楽処理の研究
| Project/Area Number |
23240021
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
嵯峨山 茂樹 東京大学, 情報理工学(系)研究科, 教授 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小野 順貴 国立情報学研究所, 大学共同利用機関等の部局等, 准教授 (80334259)
齋藤 大輔 東京大学, 情報理工学(系)研究科, 助教 (40615150)
|
|---|
| Project Period (FY) |
2011-04-01 – 2014-03-31
|
| Keywords | 音楽情報処理 / 音楽信号処理 / 楽音分離 / 楽譜追跡 / 自動作曲 / 自動ギター運指決定 / 自動演奏表情付け / 自動伴奏 |
|---|
| Research Abstract |
主な成果としては、(1) 自動採譜・分離・加工のために必須な技術である多重音解析に関しては、a) 音符のアタックをモデル化した混合ガウスモデル(GMM)による音符分解に基づき、合奏中の個別の音符推定と、音符ごとの楽器を認識する技術を開発し、b) 音楽生成プロセスのベイジアンモデリングによる音響信号の自動採譜アルゴリズムを開発した。(2) 楽音分離加工に関しては、a) 調波音と打楽器音の分離(HPSS)に関して数種類の目的関数を定義して性能を比較した。(3) 和声とリズムのモデルに関しては、a) 多声音楽のリズム木の確率文脈自由文法を提唱して解析アルゴリズムと自動学習アルゴリズムを開拓し、自動採譜への応用を開始した。(5) 音楽認識に関しては、a) 音楽信号を構造解析して曲中の相互類似箇所を見つける高速アルゴリズムと情報圧縮への応用と、b) MIDIデータから作曲家認識する手法を開発した。(6) 自動作曲に関しては、a) リズムの多様性を拡大し、b) web インタフェース Orpheus Ver 3 の機能を拡充してユーザ作品公開機能を充実し、c) 二重唱・三重唱の自動作成技術を開発し、d) ユーザがコード進行を新たに定義するとそれを四声体に展開する技術を開発し、e) 歌詞を与えて旋律を作曲しそれを楽器が演奏するという器楽作品作曲方式を開発し、f) その結果、一般ユーザの自動作曲数が１４万曲を超え、それらの試聴回数が２５０万回を超えた。(7) 音楽演奏モデルに関しては、a) ピアノ楽譜データからフレーズ構造を自動推定しで速度変化を自動生成し、人間的な演奏をする技術を開発し、b) ピアノ演奏で左右の手が緩い同期をするモデルの検討を開始した。桐朋学園大学、NTTコミュニケーション科学基礎研究所、パリ第七大学、亜細亜大学、名古屋工業大学、木更津高専と共同研究した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
有能な分担者および大学院生・学部生・内外の共同研究者らにより、幅広い研究が順調に進んでいる。これら、音楽音響信号の信号処理から、自動作曲のような楽譜生成や web 公開実験までの多様な研究テーマを並列に研究しているので、特にどのテーマが遅れて困るということは本来的にないのであるが、期待以上に進展するテーマもある。特に、自動作曲では、人間にもかなり難しい二重唱や三重唱の自動作曲技術の実現により、公開実験システムのユーザの人気は極めて高く、ユーザが習熟して次々に利用技術を磨き、当初の想定を遥かに超えた名曲が作られている。
|
| Strategy for Future Research Activity |
計画通りに順調に進んでいるので、基本的には今後も計画通り推進する。重点課題としては、多重音解析手法と音楽構造の文法表現との融合を図り、多声音楽の自動採譜の技術を実現したい。楽音分離に関しては、伴奏つき歌唱音楽信号からの歌声抽出技術を向上させるとともに、歌声除去の性能も向上したい。自動伴奏の研究では、トリルやアルペジョなどの任意性のある演奏への楽譜追跡技術や、左右の手が必ずしも完全に同期はしないピアノ演奏のモデル化を行いたい。自動編曲では、ピアノ曲のギター曲への自動編曲の数理的ない定式化を精緻化し、より複雑で長い曲が精度よく行えるようにし、可能ならば web 公開したい。自動作曲の応用として、既存曲の合唱自動編曲を行うとともに、ユーザの意図が細かく反映できるようなアルゴリズムとユーザインタフェースを充実し、自動作詞機能も向上させたい。以上を含む研究を、単独で、あるいはNTTコミュニケーション科学研究所、桐朋学園大学、名古屋工業大学、亜細亜大学、明治大学、木更津高専らと共同研究により遂行する。
|
