2021 Fiscal Year Research-status Report
ヒアラブルデバイスのためのリアルタイム目的音源抽出
| Project/Area Number |
20K11874
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
川村 新 京都産業大学, 情報理工学部, 教授 (60362646)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 音源分離 / リアルタイム / ヒアラブル |
|---|
| Outline of Annual Research Achievements |
本研究では，人間の両耳に装着する，ヒアラブルデバイスと呼ばれる機器に搭載することを目的とした，音源分離システムの開発を目指している．まず，前年度の成果として，実験環境の構築，アルゴリズムの簡略化，従来の音源分離手法との性能比較を実施したので，その結果を学術論文として投稿した．査読結果からいくつかの修正および一部の再実験が必要となったため，それぞれ実施した．再投稿の結果，10月に学術論文として掲載された．これらの作業と並行して，提案法をMatlab上に実装し，オンライン動作することを実験により確認した．実験の際には，目標とするヒアラブルデバイスに近い使用形態となるように，バイノーラルマイク（外側にマイク，内側にイヤホンが搭載された両耳デバイス）をユーザの耳に装着した．このとき，バイノーラルマイク（マイク側）で受信された音声は，有線接続されたノートパソコンに送られる．次に，Matlab上でオンラインで分離が実行され，再びバイノーラルマイク（イヤホン側）へ分離音声が送信される．ユーザは，オンラインで分離音声を聞くことができる．実験の結果，明らかになった今後の課題は，抽出したい音源を自由に選択できないこと（現システムでは正面最近棒音源に固定），分散による距離推定の精度がやや低いこと，分離音声の音質が劣化していること，1秒未満の処理遅延が生じること，などである．そこで今年度は，主に，抽出したい音源を自由に選択できる手法について検討した．提案法は，横軸を音源方向，縦軸を音源距離とした平面上に，しきい値を設け，それよりも近傍領域の音源をすべて抽出する方法である．この方法についても，ノートパソコンとバイノーラルマイクを用いた実環境実験を行い，おおむね，指定した範囲の音源を抽出できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ノートパソコン上のMatlabに提案法を実装し，ヒアラブルデバイスを想定した，オンライン音源分離実験を実施できた．抽出したい音源の選択自由度を高めること，距離推定精度を高めること，処理遅延を短縮すること，分離音源の音質を改善すること等の課題は残るが，提案法がヒアラブルデバイスを想定した状況下で，指定音源を抽出できることが確認できた．
|
| Strategy for Future Research Activity |
次年度は，2021年度に開発した音源指定方式の自由度をさらに高めるとともに，定量的な評価を行い，その成果を発表することを主な目標とする．さらに，距離推定精度を高めること，処理遅延を短縮すること，分離音源の音質を改善すること等，残りの課題についても取り組む．特に，処理遅延については，専用デバイスへの実装により，短縮できると見込んでいるため，その準備を進める．
|
| Causes of Carryover |
新型コロナウィルスの影響で，学会参加のための旅費が不要になった．翌年度分の助成金と合わせて，研究成果の発表参加費，旅費，論文出版等に充当する予定である．
|
