2017 Fiscal Year Annual Research Report
Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera
| Project/Area Number |
17F17049
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
小野 順貴 首都大学東京, システムデザイン研究科, 教授 (80334259)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
SCHEIBLER ROBIN 首都大学東京, システムデザイン研究科, 外国人特別研究員
|
|---|
| Project Period (FY) |
2017-11-10 – 2020-03-31
|
| Keywords | 音光変換 / LED / マイクロホンアレイ / 分散センシング / ビームフォーミング / 音源分離 / 音源定位 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、音を光に変換するセンサノードとカメラを組み合わせ、カメラを一種の多チャンネル音響デバイスとして用いる新たな多チャンネル音響信号処理の枠組みを構築することである。具体的には、短時間毎の音強度によってLEDを駆動し、光強度に変換するセンサノードを多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得することにより、分散的に取得された音強度情報を各画素の光輝度値として一括取得し、得られた多チャンネルの音強度変化信号に対し、研究代表者が提案してきた振幅（強度）ベースの多チャンネル信号処理法を応用する。これらにより、従来は困難であった広範囲に分散するセンサノードからの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。
平成２９年度はまず、本研究の鍵となるセンサノードの設計と試作を行った。具体的には、ESP32というプロセッサをベースとしたボードに、ステレオのMEMSマイクロホンとLEDを配置し、音のパワーに応じてLEDの光強度を変化させるブリンキーというセンサノードを設計、試作した。音から光への変換関数や、音信号に対するフィルタリングなども、プログラミング可能になっている。次にブリンキーを用いた信号処理の応用例として、通常のマイクロホンアレイと組み合わせ、光信号を教師信号として用いる教師有りビームフォーミングを行い、その有効性を確認した。また、ブリンキーを多数、分散配置することを前提とした、エネルギーベースの音源定位についてもシミュレーション実験を行い、その実行可能性を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の研究計画では、Raspberry Piを使用して音光センサノードを構築することを予定していたが、ESP32というプロセッサをベースとしたボードを用いて設計することにより、内部処理をプログラム可能な仕様を満たしつつ、MEMSマイクやLEDを搭載した、研究計画よりも小型のセンサノードを開発することに成功した。また、当初の研究計画では平成30年度に行う予定であった、通常のマイクロホンアレイと組み合わせた、光教師信号を用いたビームフォーミングの予備実験を行い、基本的な性能を確認することができた。以上2点より、当初の計画以上に進展していると考える。
|
| Strategy for Future Research Activity |
平成30年度は、大きく分けて以下の3つの研究を進める。1) 平成29年度に引き続き、音光変換センサノードから得られる光教師信号を用いたビームフォーミングについて実験的検証を進める。2) カメラによりセンサノードのLED発光の位置、すなわちセンサ位置を推定し、それらの位置での音強度情報の違いを利用して音源定位を行うシステムを実現する。音強度からの音源位置の推定は、先行研究の手法を利用する他、機械学習なども試みる。3) 複数音源が存在する場合、各センサノードでは、複数音源のパワーが混合したものが観測され、光強度に反映される。これを非負値行列分解を適用し、各音源のアクティビティを推定する、すなわち光強度信号上の音源分離を検討する。
|
Research Products
(1 results)
