2014 Fiscal Year Research-status Report
音楽の自動擬音語変換を用いたクラシック音楽用検索システムの開発
| Project/Area Number |
25330140
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
鈴木 基之 大阪工業大学, 情報科学部, 准教授 (30282015)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 擬音語歌唱 / 楽曲検索システム / 音程抽出 |
|---|
| Outline of Annual Research Achievements |
前年度より継続して，歌唱データからの高精度なメロディ情報抽出に関する研究を行なった。前年度に判明した問題点をもとにアルゴリズムの改良を行い，精度のよいメロディ情報抽出に成功した。具体的には，スペクトル形状の相互相関関数から音程を求める方法が，主に調波構造を手掛りにしていることから，調波構造がよく表れているフレームをHNRを指標として抽出し，それに対してメロディ情報を抽出することとした。国際的な楽曲検索コンテストでも用いられている195名による歌唱データベース（MIR-QBSH）を用いて音程の抽出実験を行ったところ，1フレームあたりの平均推定誤差が50.1centと，半音の更に半分程度に抑えられていることがわかり，楽曲検索システム向けとしては十分な精度が得られていることがわかった。一方，従来からよく用いられているピッチ抽出に基づく方法では，精度がよいといわれているTANDEM-STRAIGHTを用いても平均推定誤差が73.1centと，今回開発した方法の方がより高い精度で推定できることもわかった。
また，前年度作成した擬音語歌唱データベースを分析し，どのような曲に対し，どのような擬音語が用いられる傾向にあるのか検討を行った。41人による擬音語歌唱データ（全383データ）について分析を行ったところ，「ら」と「た」，およびそれらの派生語（「たー」や「たらっ」等）が非常に多く用いられている（およそ55%程度）ことがわかった。またある程度楽器との対応関係がある（トランペットは「ぱ」，ハープは「ぽん」等）こともわかった。一方で歌唱者による違いも大きく，曲や楽器ごとに様々な擬音語を用いる（エントロピーが4.47程度）歌唱者がいる一方，どの曲に対してもほぼ同じ擬音語しか用いない（エントロピー1.17程度）歌唱者もいることがわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画どおり，高精度なメロディ抽出法を開発することができている。また擬音語歌唱についても分析をすすめ，その使用傾向についてある程度の知見が得られている。
当初の計画では，本年度までに音楽の擬音語表現への自動変換法を開発する予定であった。こちらはまだ達成されていないが，それは今年度得られた知見を元に開発することができるため，おおむね順調と言える。
|
| Strategy for Future Research Activity |
今年度得られた擬音語歌唱に関する知見をもとに，音楽の擬音語表現への自動変換法を開発する。基本的には音声認識と全く同じ枠組みで実現可能であるが，そこでどのような特徴量を用いるかが精度を向上させる上で非常に重要になってくる。そのため，今年度得られた知見をもとに，使用楽器と擬音語の関係や，音程と使用母音の関係，テンポ，音価並び等との関係が表現できるよう，特徴量を工夫し，高精度な変換システムを構築する。
また，当初の予定どおり，歌唱音声の高精度な音声認識方法の開発も開始する。音響モデルの歌唱スタイル適応に加え，認識文法を検索対象楽曲の歌詞や擬音語系列にあわせて自動構築し，精度の向上を目指す。更に音符の区切り時刻情報を用いることで，長音等に対応した認識システムを開発する。
|
| Causes of Carryover |
本年度は当初開発用計算機を購入する予定であったが，音楽の擬音語表現への自動変換システムの開発まではすすまず，データベースの分析をするに留まってしまったため，現有設備を利用して研究を行うことが可能であった。また，当初参加予定であった国際会議で発表することができなかったため，海外旅費の使用がなく，結果として次年度使用額が生じた。
|
| Expenditure Plan for Carryover Budget |
次年度は歌唱音声からの音声認識システムを構築すること，また擬音語表現への自動変換システムを構築することから，予定どおり計算機の購入に使用する予定である。また，今年度得られた研究結果を秋頃開催されるふたつの主要な国際会議（InterSPEECH，ISMIR）で発表すべく投稿中であり，そのための旅費として使用する予定である。
|
Research Products
(1 results)
