| 研究課題/領域番号 |
19J15255
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 京都大学 |
|---|
研究代表者 |
錦見 亮 京都大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2019-04-25 – 2021-03-31
|
| 研究課題ステータス |
完了 (2020年度)
|
| 配分額 *注記 |
2,100千円 (直接経費: 2,100千円)
2020年度: 1,000千円 (直接経費: 1,000千円)
2019年度: 1,100千円 (直接経費: 1,100千円)
|
|---|
| キーワード | 音楽情報処理 / 自動採譜 / 歌声採譜 |
|---|
| 研究開始時の研究の概要 |
本研究では，人間が自身の個性を反映しながら「音楽を生成する過程」と「音楽を認識する過程」を統一的に記述するモデルを構成することで，表裏一体の関係にある音楽情報処理の認識タスク（個性を反映した歌声や楽曲の自動生成やスタイル変換）と生成タスク（音源分離や自動採譜，個性や歌唱表現の解析）とを双方の依存関係を考慮しながら同時に解決できる方法論を確立する．
|
| 研究実績の概要 |
本研究では，音楽音響信号から歌声が担う主旋律の楽譜を推定する歌声採譜技術を扱う．主旋律は多くの楽曲の印象に密接に関連しているため，歌声採譜は認識・生成の双方向歌声解析において重要な技術である．歌声の音高軌跡（F0軌跡）はビブラートやオーバシュート等の歌唱表現よって，楽譜に記述された音符の音高や発音時刻から大きく逸脱しているため，単純な方法では音楽的に不自然な音符列が推定されてしまう．また，従来法は事前推定したF0軌跡を時間・周波数方向に離散化して楽譜を推定しているが，事前推定による誤差伝播の問題や音符のオンセット情報が欠落したF0軌跡からは同音高の連続音符の境界が判定不能という問題があるため，音楽音響信号を直接扱える手法の構築が必要であった．
そこで本研究では，深層ニューラルネットワークに基づく音響モデルと従来の統計モデルに基づく言語モデルを統合した音楽音響信号の生成モデルを開発した．提案モデルにおいて，言語モデルはセミマルコフモデル（semi-Markov model; SMM）で構成され，調に依存しながら音符系列が生成される過程を表現する．また，音響モデルは畳み込みリカレントニューラルネットワーク（convolutional recurrent neural network; CRNN）で構成され，音符に基づいて観測音楽音響信号が生成される過程を表現する．提案モデルは，言語モデルに基づく音符に関する文法的な知識とCRNN音響モデルの表現力の両方を活用しながら，ビタビアルゴリズムを用いて音楽信号から直接音符を推定する．実際の音楽音響信号と合成の歌声を用いた評価実験では，従来の歌声F0軌跡に対する歌声採譜手法よりも高い性能を達成した．また，音響モデルのみ用いて推定された楽譜よりも高い性能を達成したことから，言語モデルと音響モデルを統合することの有効性も確認した．
|
| 現在までの達成度 (段落) |
令和2年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和2年度が最終年度であるため、記入しない。
|
