2013 Fiscal Year Research-status Report
音声認識にとって未知語となる擬態語を含む音声クエリで動作可能な図柄パタン検索法
Project/Area Number |
24500131
|
Research Institution | Tokyo University of Technology |
Principal Investigator |
相川 清明 東京工科大学, メディア学部, 教授 (00367202)
|
Keywords | 音声検索 / 擬態語 / 擬音語 / 未知語 / 音声認識 / 音響特徴 / 情報検索 / パタン検索 |
Research Abstract |
1、パタン検索データベース収集と分析:平成25年度は、検索対象を雰囲気や感情を表現するイラストに拡大して収集した。具体的には「LINE」で用いられる「スタンプ」を音声で検索することを想定し、イラスト311種類、それらの言語表現204種類を収集した。 2、効果音検索データベース収集と分析:効果音の検索のため、「ギター」のような効果音言語表現と、それに対する「ジャーン」のような擬音語表現を収集し、重複を除いて275種類の組み合わせを得た。 3、音声入力によるパタン検索プラットフォーム改良:評価用プラットフォームを検索対象パタンに応じて改良した。音声入力を2系統に分け、音声認識と音響特徴抽出を同時に進行させる。平成25年度は、音声認識結果の単語列、音声認識により得られる音素列、音声認識で用いていない音響特徴の3種の分析に基づき、未知語の擬音語・擬態語が音声入力させても検索できる方法に発展させた。このプラットフォームは通信アプリである「LINE」を想定しており、音声入力による検索結果の「スタンプ」のイラストが表示される。このシステムについては日本音響学会2014年春季研究発表会で発表した。 4、音声入力による効果音検索システムの作成:音声認識により得られる音素列を擬音語・擬態語音響特徴とみなし、効果音を検索するシステムを構築した。オープンなテストでは、登録語以外が発声されることが多く、音素列レベルでのDPマッチングによる未知語対策も施した。このシステムについては日本音響学会2014年春季研究発表会で発表した。 5、音声入力による音検索の拡張:指揮者が演奏者に指示するように感性表現音声入力により楽器音シンセサイザパラメータ設定システムを構築した。また、ドラムのリズムパタンは種類が多く設定が難しいので、これを印象表現の音声入力により検索するシステムを構築した。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
1、平成24年度、25年度に予定していた研究課題項目は概ね予定通り実施したが、部分的に予定以上に進んだ項目と進捗が遅れている項目がある。類似度の尺度については、検討が不足した。一方、パタン検索において、検索対象カテゴリを予定よりも拡大できた。さらに、音の検索においては、効果音だけでなく、演奏スタイルやドラムパタンの検索にまで検索対象を拡大できた。 2、平成26年度実施予定のトップダウン検索関係では、平成25年度において音声入力によるギターアンプ設定の検討を行ったが、予備検討に留まった。対話型の再検索については、予備検討に留まったので、ベクトル空間法に基づく既発表済みの相対検索をさらに発展させて付加する予定である。 3、学会発表においては研究完成時期が遅かった影響で、やや遅れている。
|
Strategy for Future Research Activity |
最終年度は方式の評価実験と学会発表に重点を置いて進める。個別項目は以下のとおりである。 1、現在までの擬音語・擬態語入力のための音響分析では3種類の大局的な音響特徴を用いたが、この種類を追加する。現在、3系統の音響分析の結果から最終検索結果を求めるアルゴリズムは論理判断となっているが、統合的に判断することを目指し、類似度と信頼度を用いる方法を開発し、今までに作成した方法と比較する。 2、パタン検索においては、実際の「LINE」に近い表示方法によるプラットフォームを作成し、利便性の評価を行う。 3、ドラムパタンの検索で複数キーワードを用いた検索を試みたが、予備検討に終わった。この課題については、平成26年度においてさらに検討を続ける。ギターアンプ設定で試みた相対検索の応用方式を対話型に発展させる。 4、今まで得られた成果と平成26年度の成果の対外発表、論文作成を行う。
|
Expenditure Plans for the Next FY Research Funding |
繰越金が生じた理由は、以下のとおりである。パタン検索、効果音検索ともに、予想外に効率的にデータを収集できたため、謝金のための出費は少なかった。性能評価に必要なデータを限定したため、総データ量も少なくて済んだ。また、国際会議で報告予定であったが、大学の行事と重なったため、投稿は断念した。このため、旅費の出費が少なかった。 なお、当初より、最終年度は評価及び、成果発表のための予算を用意してある。 1、客観的な評価結果を得るため、平成26年度もデータの収集は継続する予定である。その処理には時間を要しないことがわかったので、ただちに評価実験に使用できる。音検索関係での研究の拡大と進展がみられたので、この評価システム作成のために機材を補充する。また、「スタンプ」などのイラストの音声入力については進展が顕著であったので、さらにタッチパネル型の評価システムを用意して、並列で評価実験を行う。このシステムは上記のデータ収集にも利用する。 2、未発表成果および平成26年度の成果の学会発表、論文作成を行う。
|
Research Products
(2 results)