2020 Fiscal Year Research-status Report
ヒアラブルデバイスのためのリアルタイム目的音源抽出
| Project/Area Number |
20K11874
|
|---|
| Research Institution | Kyoto Sangyo University |
|---|
Principal Investigator |
川村 新 京都産業大学, 情報理工学部, 教授 (60362646)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 音源分離 / リアルタイム / ヒアラブル |
|---|
| Outline of Annual Research Achievements |
本研究では，人間の両耳に装着する，ヒアラブルデバイスと呼ばれる機器に搭載することを目的とした，音源分離システムの開発を目指している．開発目的である音源分離システムは，人間の両耳に届く複数の音をマイクロホンで観測し，信号処理技術により，各音源に分離する．そして，目的音源だけを選別し，スピーカから鼓膜に向けて放射する．本研究課題のシステムは，両耳に到来する音信号が処理対象となる．そこで，研究の1年目では，バイノーラルマイクと呼ばれる特殊なマイクロホンを入手し，人間の両耳における観測信号の取得を可能にした．また，手持ちのダミーヘッドを利用して，シミュレーション用の観測信号の取得環境も整備した．音源抽出処理を行うプログラムは，基礎研究段階として，Matlabを利用して開発した．さらに，提案法の性能評価のため，音源データベースを入手した．また，シミュレーション用のインパルス応答については，データベースの利用に加え，ダミーヘッド，あるいは個人頭部に装着したバイノーラルマイクで計測できる環境を整えた．提案法の基礎部分は，すでに完成しているが，実機でのリアルタイム処理を実現するために，演算量をできる限り小さく抑える必要がある．提案法では，両耳に届く音声の位相スペクトルの差（位相差スペクトル）を利用して，目的音源であるか否かを判定している．この位相差スペクトルによる判定部分のアルゴリズムをできるだけ簡略化するため，音源分離に利用する参照データの数を制限した．これらの結果，1年目の大きな目標である，実験環境の構築と，アルゴリズムの簡略化は実現できた．また，性能評価として，従来の音源分離手法との比較も実行した．さらに，ここまでの結果を国際会議で発表し，さらに学術論文としてまとめて投稿した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
1年目の目標として掲げていた，実験環境の構築と，提案アルゴリズムの簡略化および性能評価を実現できた．実験環境の構築では，必要であった各種機材を購入し，想定していた観測信号を入手することに成功した．また，性能評価用に，音源データベースを購入し，さらに，従来手法の基本プログラムを入手できたため，性能比較シミュレーションを実施することができた．
|
| Strategy for Future Research Activity |
ＦＰＧＡを用いた実機化を視野に入れ，1年目で構築したMatlabアルゴリズムを，Ｃ言語，あるいは，より直接的にＦＰＧＡ用のVerilog HDLに移植する．同時に，音源分離に適したＦＰＧＡ，およびその周辺機器を購入しておく．ＦＰＧＡは，低消費電力，高速，かつ超並列処理が可能で，非常に柔軟な設計が可能である．よって，プログラム移植の際に，可能な限りアルゴリズムを並列化する．実機化に際しては，他の専門家とも意見交換しながら，トライアル・アンド・エラーで進めていくことになる．また，耳元に実際にバイノーラルマイクを装着した状態での実験では，耳を損傷する可能性があるため，音が爆発的に増大しないように，安全性を考慮した出力制御の追加も必須となる．
|
| Causes of Carryover |
新型コロナウィルスの影響で，学会参加のための旅費が不要になった．翌年度分の助成金と合わせて，研究成果の発表参加費，旅費，論文出版費等に充当する予定である．
|
