2017 Fiscal Year Research-status Report
音響信号処理と人工知能技術との融合による音響空間全周収録法の確立
| Project/Area Number |
16K06384
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
小澤 賢司 山梨大学, 大学院総合研究部, 教授 (30204192)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
森勢 将雅 山梨大学, 大学院総合研究部, 准教授 (60510013)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | マイクロホンアレイ / 時空間音圧分布画像 / 不等間隔アレイ / 2次元フーリエ変換 / 音源分離 / スペクトル減算法 / スパースモデリング / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
全空間中の各音源を選択的に収録することを目的とする。まず稠密にマイクロホンを配置したアレイを「マイクロ間隔マイクロホンアレイ」と定義した。各マイクロホンにおいて観測された時系列としての音圧の標本値を輝度値に変換することで画像を生成し，この画像を全てのマイクロホンについて並べることで構成した2次元画像を「時空間音圧分布画像」と定義した。この画像を2次元フーリエ変換して得た2次元振幅スペクトルにおいては，到来方向が異なる平面波は，傾きが異なる直線上の成分として出現する。その傾きに基づいて音の到来方向推定が可能であり，さらには各直線上の成分のみを抽出し逆フーリエ変換することで音源分離が可能である。以上を原理として検討を進めている。
この原理を実装するにあたり，少数マイクロホンを用いて観測した疎な時空間音圧分布画像から情報を抽出するために人工知能技術を利用する。本年度は，以下３点について検討を行った。
１．時空間音圧分布画像の高精細化：昨年度(平成28年度)の検討から，疎な時空間音圧分布画像を得るためにマイクロホンを不等間隔に配置することの有効性を示した。本年度は，実際に疎な時空間音圧分布画像から高精細画像を復元するアルゴリズムを考案・実装し，音声帯域であれば十分な性能が得られることを示した。
２．スペクトルの瞬時推定による音源分離方法の開発：上記の検討を進める中で，高精細画像を復元しなくとも，目的音に混入した雑音成分を周波数ごとに推定できることに気付いた。その推定を人工知能技術のうちニューラルネットワーク(NN)を用いて行うことで，目的音中の雑音成分を効率よく引き去ることが可能であることを示した。
３．最小の時空間音圧分布についての検討：平成28年度に，時系列2点の場合を取り上げ，NNを用いてマイクロホンアレイを構築した。本年度は，このアレイシステムを拡張し，広帯域音に対応可能とした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度は，最小の時空間音圧分布画像データを取り上げた場合に，ニューラルネットワークにより処理することで広帯域な２音源分離システムが構築できることを示すことができた。また，マイクロホンを不等間隔に配置した場合に得られる疎な時空間音圧分布画像から，高精細な画像を復元するアルゴリズムを考案・実装した。ただし，当初計画では，この実装は平成28年度に終了しているはずであったので，若干の遅れがある。さらに，当初予定では，平成29年度は2次元アレイを取り上げる予定であったが，現状は1次元アレイで留まっている点は計画より遅れている。
一方で，申請時の計画では高精細化することが要点であると考えていたが，その高精細化を省いても音源分離を行うために十分な情報が2次元スペクトルに含まれていることに気付き，やはりニューラルネットワークを用いた処理で音源分離を行う新たな手法を開発した。また，マイクロホンを不等間隔に配置することで，眼鏡フレーム程度のアレイ長で十分な音源分離性能が得られることを示すことができた。
以上のように，計画より進んだ部分と若干遅れた部分があるが，全体としてはおおむね順調に進展しているものと考えている。
|
| Strategy for Future Research Activity |
平成29年度に開発した音源分離方法は，3次元アレイデータに適用できるように拡張可能であるものと考えている。それゆえ，当初は平成29年度に予定していた2次元アレイによる検討を省くことが可能で，平成30年度には当初の予定である全周方向を対象とした音源分離を検討することが可能であると考えている。
|
| Causes of Carryover |
当初に見積もった計算機に関して，同等仕様の製品が廉価で購入できたため若干の残額が発生した。その残額を利用することで，最終年度に購入予定の計算機について，当初見積より高い仕様の製品を購入する予定である。
|
