2022 Fiscal Year Research-status Report
ヒアラブルデバイスのためのリアルタイム目的音源抽出
| Project/Area Number |
20K11874
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
川村 新 京都産業大学, 情報理工学部, 教授 (60362646)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 音源分離 / リアルタイム / ヒアラブル |
|---|
| Outline of Annual Research Achievements |
本研究では，人間の両耳にマイクロホンを装着し，リアルタイムで音源分離を実行するシステムの開発を目指している．昨年度までに，実験環境の構築，アルゴリズムの簡略化，従来法との性能比較を実施し，さらに，提案法をMatlab上に実装し，オンライン動作することを確認した．オンライン動作確認では，目標とするヒアラブルデバイスに近い使用形態となるように，バイノーラルマイク（外側にマイク，内側にイヤホンが搭載された両耳デバイス）をユーザの耳に装着し，有線接続されたノートPCで音源分離を実行した．ユーザは，オンラインで分離音声を聞くことができる．今年度は，最初に音源の到来方向推定の精度改善について検討した．これまでは，両耳に装着する2つのマイクロホン間の距離を，頭部の直径と，実験的に定めた一定値の和として，音源の到来方向を推定していた．しかし，正確なマイクロホン間距離ではないため，音源の到来方向によっては，推定誤差が大きくなるという問題があった．そこで今年度は，頭部を球状の物体と仮定し，音波が球面を伝達する際の距離をマイクロホン間の距離として利用した．結果から，音源の到来方向推定の精度が改善できた．さらに，抽出したい音源を，ユーザが自由に選択できるようなユーザインターフェースについても検討を行った．昨年度は，横軸を音源方向，縦軸を音源距離とした平面上に，しきい値を設け，それよりも近傍領域の音源をすべて抽出していた．また，しきい値はユーザが変更できない仕様であった．今年度は，ユーザが円形領域を設定し，その領域内の音源を抽出できるように変更した．円形領域は，音源分離の実行中でも自由に移動でき，また，大きさも自由に変更できる．結果から，指定した領域内の音源をリアルタイム抽出できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ノートPC上のMatlabに提案法を実装し，ヒアラブルデバイスを想定した，オンライン音源分離実験を実施できた．ここで，音源の到来方向の推定精度を昨年度よりも高めることに成功した．また，ユーザが抽出したい音源を選択できるようなユーザインターフェースを開発した．ユーザはノートPCの画面を見ながら，抽出したい音声をマウスとキーボードでリアルタイムに選択できる．開発したシステムは，両耳に装着するバイノーラルマイクロホンと，これを有線接続したノートPCで動作するが，これらは，ヒアラブルデバイスと，これを無線接続したスマートフォンとみなせば，提案法の全体構成はおおむね完成したことになる．
|
| Strategy for Future Research Activity |
最終年度の課題は，開発した音源分離システムのユーザインターフェースに対して被験者実験を行い，その結果を基に，より満足度の高いシステムに発展させることを目標とする．また，クラスタリングの精度改善，分離音声の音質改善についても取り組む．さらに，提案法の実機への実装可能性についても検討するとともに，研究成果の発表も精力的に行っていく．
|
| Causes of Carryover |
新型コロナウィルスの影響で，学会参加のための旅費が不要になった．翌年度分の助成金と合わせて，研究成果の発表参加費，旅費，論文出版等に充当する予定である．
|
