2012 Fiscal Year Research-status Report
統計的機械学習による音楽情景分析と音楽的要素のディレクションの研究
| Project/Area Number |
24700168
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
糸山 克寿 京都大学, 情報学研究科, 助教 (60614451)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 音楽情報処理 / 多重基本周波数推定 / 和音認識 / 運指推定 |
|---|
| Research Abstract |
平成24年度は以下の課題に取り組んだ．
(1)ノンパラメトリックベイズ法に基づく音楽音響信号の分析手法：多重奏の音楽音響信号に対して，従来法と同等以上の性能で数十倍高速な処理を行う多重基本周波数推定法を開発した．多重基本周波数を正しく推定するためには，調波構造の倍音強度比を正しく推定することが不可欠である．誤った倍音強度比が推定されることを防ぐため，楽器音シンセサイザで多種多様な楽器音の倍音強度比を分析し，その範囲内の倍音強度比のみが推定されるような手法を開発した．
(2)ベイズ推定に基づく和音の認識：音響特徴・ベース音高・和音遷移の手がかりを確率的に統合した和音認識手法を開発した．複数の手がかりの相互作用を考慮することで，73.7%の和音認識率を達成した．
(3)音楽音響信号からのバイオリン運指推定：
手の形状やその変化速度などを考慮し，バイオリン演奏の音響信号から運指を自動推定する手法を開発した．バイオリンには弦が4本あり，音がどの弦から発せられているかを推定するために調波構造の倍音強度比を手がかりとして，倍音強度比と手の変形・移動コストを確率的にモデル化した．評価実験により，79.3%の推定精度を達成した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の成果により，平成24年度に実施予定であった「楽器単独音のスペクトル表現と楽器の音色のモデル化」，「和音進行と調のモデル化」，平成25年度に実施予定であった「複数の音楽的要素の認識手法を統合し，同時認識によって認識精度」を実現し，さらに平成26年度に実施予定であった「複数の音楽的要素の認識において，計算量を軽減する手法の開発」に部分的に取り組んだといえる．実施の順序は前後しているものがあるが，単年度で実施すべき分量の目的は達成されており，平成25年度以降も順次課題に取り組むことで研究計画は実施できると考えられる．よって，「おおむね順調に進展している」と評価する．
|
| Strategy for Future Research Activity |
平成25年度は応用技術の開発と評価に取り組む．(1) 事前情報の誤りに頑健な多重音分析手法を開発する．楽曲の分析には，事前情報として楽譜を用いることができるようにする．楽譜に不備がある場合（音符の挿入置換誤り，一部の楽器パートのみ，音高・テンポのずれ）が想定されるため，音響信号と楽譜との同期処理を応用して楽譜の信頼できる部分を推定してその部分だけから楽曲構成要素を抽出する．(2) 統計的学習に基づいて混合音を操作・合成する手法を開発する．楽器音の合成方法に関する技術を比較検討する．正弦波重畳モデルによる手法，パワースペクトルから位相を推定し時間領域信号を復元する手法，ソースフィルタモデルによる手法，既存の楽曲やその断片をつなぎ合わせる手法など，様々な手法を対象とする．また，以上画像検出手法やミッシングフィーチャー理論を応用し，楽器音の歪み（＝異常な箇所）を検出することで歪みを最小化する手法を開発し，2～10dBの歪み軽減を目標とする．(3) 楽曲の残響を推定する．短時間（1.0秒未満）と長時間（1.0秒以上）の残響に段階的に取り組む．残響を推定するためには楽器音モデルを畳み込みモデルに拡張し，補助関数法を用いて目的関数を変形することで効率的な反復推定アルゴリズムを構築する． (4) 歌声を分析し，歌い方の特徴を分析・転写する手法を開発する．伴奏や残響を含む，ウェットな歌声から歌い方の特徴を分析し，ボーカロイドなどの歌声合成エンジンに歌い方の特徴を転写する．
平成26年度はシステムの総合的評価に取り組む．(1) 複数の音楽的要素の認識において，計算量を軽減する手法を開発する．(2) 事例となるコンテンツを基に混合音を操作・合成する手法を開発する．(3) システムを統合し，総括的な評価を行う．
|
| Expenditure Plans for the Next FY Research Funding |
平成24年度の使用傾向を維持する．実験のための計算機・ディスク・周辺機器の購入，音楽CDや楽譜とそのアノテーションデータの購入などが主要な使途である．
|
Research Products
(4 results)
