Multi-channel Audio Signal Processing Based on Sound-to-Light Conversion and Video Camera
| Project/Area Number |
17F17049
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 外国 |
|---|
| Research Field |
Perceptual information processing
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
小野 順貴 (2017-2018) 首都大学東京, システムデザイン研究科, 教授 (80334259)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
Scheibler Robin 首都大学東京, システムデザイン研究科, 特任准教授 (10869902)
SCHEIBLER ROBIN 首都大学東京, システムデザイン研究科, 外国人特別研究員
|
|---|
| Project Period (FY) |
2017-11-10 – 2020-03-31
|
| Project Status |
Completed (Fiscal Year 2019)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2019: ¥600,000 (Direct Cost: ¥600,000)
Fiscal Year 2018: ¥1,000,000 (Direct Cost: ¥1,000,000)
Fiscal Year 2017: ¥600,000 (Direct Cost: ¥600,000)
|
|---|
| Keywords | 音光変換 / LED / マイクロホンアレイ / 分散センシング / ビームフォーミング / 音源分離 / 音源定位 |
|---|
| Outline of Annual Research Achievements |
本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。
1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。
2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。
3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。
4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
Report
(3 results)
Research Products
(29 results)
