2015 Fiscal Year Research-status Report
音楽の自動擬音語変換を用いたクラシック音楽用検索システムの開発
| Project/Area Number |
25330140
|
|---|
| Research Institution | Osaka Institute of Technology |
|---|
Principal Investigator |
鈴木 基之 大阪工業大学, 情報科学部, 准教授 (30282015)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 擬音語歌唱 / 歌唱音声の認識 / 楽曲検索システム |
|---|
| Outline of Annual Research Achievements |
前年度に引き続き，歌唱で使用される擬音語の分析を行なった。擬音語歌唱について追加録音を行い，前年度までに収録したデータとあわせて，49名による452歌唱データを分析に用いた。擬音語を用いた歌唱においては，分析の最小単位（通常の文章でいうところの「単語」）が何なのか定義されていない。前年度までは主観的に「単語」を定義していたが，今年度はより客観的に「単語」を定義した。具体的には「た」「ら」といった音節を最小単位とし，階層Pitman-Yor言語モデルを用いた教師なし単語分割法を用いて「単語」を抽出した。その結果，492種類の単語が抽出され，そのほとんどは4音節以内の長さであった。こうして得られた「単語」をもとに分析を行なったところ，ほとんどの歌唱者は擬音語の使い方によって4つのグループに分類できることがわかった。また前年度までの結論と同様，楽曲によって擬音語がある程度固定化されることもわかった。
また，歌唱音声を高精度に認識するため，音声認識アルゴリズムに時間制約を導入した。一般に歌唱音声においては，音符と音節が対応している。特に日本語においては，1音符が1音節と対応づけられる事が多い。そこで歌唱データから音符の区切り時刻を推定し，その時刻で音節間を遷移しやすくするように音声認識アルゴリズムを修正した。日本の童謡を歌唱した198データに対して認識を行なったところ，89%程度の単語認識率を得ることができた。
更には楽曲検索システムの試作も行った。歌唱データから抽出したメロディ情報を特徴量に変換し，EMDを距離尺度としてデータベースからの検索を行うシステムを開発した。EMDは高精度ではあるが計算に時間がかかってしまう。そこでデータベース内の特徴量を予めクラスタリングしておき，その代表値を用いて予備選択を行う方法を提案し，多少の精度劣化で計算量を15%程度減少させることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画どおり，擬音語による歌唱の特性について分析を行い，ある程度は音楽と擬音語の関係について明らかにすることができた。今後この知見を元に音楽から擬音語変換への自動変換法を開発していく必要がある。アルゴリズムやそれを実装したプログラムはすでに準備できているが，今年度開始する予定であった実験を開始できなかった。この点についてはすぐに実施可能であるため，おおむね順調といえる。
また，歌唱データからのメロディ情報の抽出，歌唱音声の認識，高速高精度な検索法についてもそれぞれ検討が行われており，おおよそ順調と言える。
|
| Strategy for Future Research Activity |
今後は，今までに得られた知見や技術を統合し，最終的な検索システムの構築を行っていく。まずは音楽から擬音語への自動変換システムを構築し，その精度と特性，また検索システムのデータベースへの登録方法といった点について検討を行う。その後，すべての技術を統合した検索システムを構築する。歌唱音声からメロディ情報を歌詞テキストをそれぞれ抽出し，それらをあわせてデータベースから検索を行う。
もし時間的余裕があれば，歌唱の一部は歌詞，一部は擬音語，といった歌唱スタイルにも対応するよう，検索アルゴリズムを改良してく。
|
| Causes of Carryover |
本年度は前年度購入しなかった開発用計算機を購入し，当初の予定どおり各種アルゴリズムの開発に使用した。一方で当初参加予定であった国際会議で発表することができず，また前年度使用しなかった金額が比較的大きかったため，次年度使用学が生じることとなった。
|
| Expenditure Plan for Carryover Budget |
次年度は最終年度であり，主に研究成果の発表に利用することを計画している。今年度得られた研究成果を秋頃開催されるふたつの主要な国際会議（InterSPEECH，ISMIR）で発表すべく投稿中であり，そのための旅費として使用する予定である。また，最終成果物としての楽曲検索システムのデモを行うため，計算機を購入する予定である。
|
Research Products
(1 results)
