2016 Fiscal Year Annual Research Report
楽器の空間配置制御に基づく楽曲の聴覚印象を多様に変化させる音響空間再生システム
Project/Area Number |
16J11472
|
Research Institution | Nagoya University |
Principal Investigator |
大谷 健登 名古屋大学, 情報科学研究科, 特別研究員(DC2)
|
Project Period (FY) |
2016-04-22 – 2018-03-31
|
Keywords | 音源分離 / 音源配置操作 / 音源再合成 / ビームフォーミング |
Outline of Annual Research Achievements |
小型の電子機器の普及・進歩により、様々な場所で音楽を楽しむことが可能となっている一方で、音楽プレーヤ自体はプロの作曲家が提示した楽曲を再生する機能にとどまっている。そこで、楽曲中の楽器音の空間配置の操作により、容易に楽曲の聴覚印象を操作することのできるシステムの構築を目指し、初年度の研究を行った。 楽曲中の各楽器音の空間配置を操作するため、楽曲信号から各楽器音信号を分離・抽出する必要があるため、この点についての研究を進めた。 本研究でのアプローチとして、まず再混合を仮定した楽曲音源分離手法を提案した。まず、再混合を仮定するため、個々の楽器音への分離ではなく、各楽器音を大きく5つ(ベース,ギター,ドラムス,ボーカル,その他)に分けて考えることとした。本研究では、深層学習を利用して音源分離を行うことを考えた。その際、深層学習モデルの学習に利用する誤差関数に分離音の総和が元の混合音と等しくなるように制約をかけた。結果として、再混合後の信号対歪比が再混合を考慮しないモデルと比べて改善することが確認された。一方で、再混合誤差の重みを大きくしすぎると個々の音源に対する分離性能が低下し、全体の性能が低下してしまうことが分かった。 また,ステレオ楽曲信号の仮想的な音源配置に着目し、事前強調を行うことを考えた。楽曲信号の空間的広がりを利用した音源事前強調では、空間情報を利用した音源強調手法であるビームフォーマの利用を考えた。本研究では、深層学習器を利用し各音源信号を最も強調するようなビームフォーマを推定・選択することで、上記の処理の前に音源信号を事前強調することを考えた。結果として、一部の音源については分離性能の向上を確認した一方で、ビームフォーマ推定誤りにより、一部音源分離性能が低下してしまった。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では、今年度に音源分離については終える予定であったが、実際には実用上の性能の問題から次年度も引き続き音源分離について研究を続ける必要が出たため。
|
Strategy for Future Research Activity |
今後は,CDなどに収録されている楽曲の音源分離について引き続き研究を続けていく。本研究の目的である楽曲の再混合の応用に十分な精度が出たと確認されるまで、深層学習モデルの構造やパラメータのチューニングによって精度の向上を図る予定である。 音源分離についての研究が終わり次第、本研究の目的である聴覚印象操作システムの構築に移る。提案するシステムには、ユーザが容易に音源の配置を操作することができるインターフェースが不可欠であると考えられる。その実装の一例として、ユーザに対する推薦機能が考えられる。ユーザからのこれまでの操作履歴情報などを収集・解析することでユーザの好みを分析し、その情報からユーザごとに適切な音源配置を推薦することを考えている。 また、現在は空間音響の再現のために頭部伝達関数の利用を考えている。しかしながら、頭部伝達関数には個人性の問題があり、ほかの人に対して適切な頭部伝達関数が、そのユーザにとって適切とは限らない。そのため、今後はこの問題の解決も考えていきたい。
|
Research Products
(5 results)