| 研究課題/領域番号 |
17F17049
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 外国 |
|---|
| 研究分野 |
知覚情報処理
|
|---|
| 研究機関 | 首都大学東京 |
|---|
研究代表者 |
小野 順貴 (2017-2018) 首都大学東京, システムデザイン研究科, 教授 (80334259)
|
|---|
| 研究分担者 |
Scheibler Robin 首都大学東京, システムデザイン研究科, 特任准教授 (10869902)
SCHEIBLER ROBIN 首都大学東京, システムデザイン研究科, 外国人特別研究員
|
|---|
| 研究期間 (年度) |
2017-11-10 – 2020-03-31
|
| 研究課題ステータス |
完了 (2019年度)
|
| 配分額 *注記 |
2,200千円 (直接経費: 2,200千円)
2019年度: 600千円 (直接経費: 600千円)
2018年度: 1,000千円 (直接経費: 1,000千円)
2017年度: 600千円 (直接経費: 600千円)
|
|---|
| キーワード | 音光変換 / LED / マイクロホンアレイ / 分散センシング / ビームフォーミング / 音源分離 / 音源定位 |
|---|
| 研究実績の概要 |
本研究において我々は、短時間毎の音強度によってLEDを駆動し光強度に変換する「ブリンキー」というセンサノードを開発した。本研究の目的は「ブリンキー」を多数、空間中に配置し、通常のフレームレートのカメラでこれを映像として取得し、カメラを一種の多チャンネル音響デバイスとして用ることで、従来は困難であった広範囲からの音響情報の取得を容易にし、音響シーン認識、音源定位、音源強調などをカメラによって行う新しい音響応用システムを実現することを目指している。2019年度成果は以下の通りである。
1) マルチモーダル音源強調：通常のマイクロホンアレイとブリンキーを組み合わせたマルチモーダルな音源強調法として、1-a) ブリンキーにより得られる音強度信号をNMFにより分離し、得られたVAD情報を用いてSN比最大化ビームフォーマを設計する手法、1-b) ブリンキー、マイクロホンアレイにより得られるマルチモーダルな信号を同じ確率モデルで同時最適化し，音源分離を行う手法，の2つのアプローチで定式化した。
2) ブリンキーに基づく複数音源定位：ブリンキーにより得られる音強度信号をNMFにより分離し、単一音源に対するブリンキーの空間強度パターンをあらかじめ学習させたDNNにより複数音源定位を行う手法を提案した。
3) ブラインド音源分離の高速アルゴリズム：1)の展開として、3-a) 分離行列のrank-1更新による音源分離 (ISS)、3-b) 過決定条件での効率的な音源分離 (FIVE)という2つの新たなブラインド音源分離アルゴリズムを提案した。
4) 音高のリアルタイム可視化：従来のブリンキーでは観測された音信号全体の強度によりLEDを駆動していたが、特定の音にのみ反応するブリンキーの第一段階として、クロマベクトルに基づきブリンキー内で音高を検出し、特定音高の音対してのみ反応するブリンキーを実現した。
|
| 現在までの達成度 (段落) |
令和元年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和元年度が最終年度であるため、記入しない。
|
