2021 Fiscal Year Research-status Report
Development of sound source separation method focusing on the singular point in spatio-temporal spectrum
| Project/Area Number |
19K04408
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
小澤 賢司 山梨大学, 大学院総合研究部, 教授 (30204192)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡辺 貫治 秋田県立大学, システム科学技術学部, 准教授 (20452998)
坂本 修一 東北大学, 電気通信研究所, 教授 (60332524)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 時空間音圧分布画像 / マイクロホンアレイ / 特異点 / 音源分離 / 時空間スペクトル / ニューラルネットワーク / 雑音抑圧 / フェーズドアレイ |
|---|
| Outline of Annual Research Achievements |
本研究では，スマートフォンに搭載可能な程度の小規模マイクロホンアレイにより，高精度な目的音抽出の実現を目指している。その基本戦略として，アレイ出力を画像（時空間音圧分布画像）と見なした場合に，その時空間スペクトルにおいては音源位置が特異点となることを利用する。特に，方向が同一で距離のみが異なる複数音源からの抽出を可能とすることに意義があると考えている。
2021年度も，4個のマイクロホンを約6 cmの円弧上に配置したアレイを想定し，同一方向に複数音源がある場合に，各音源からの音を分離することを検討した。2020年度の検討で，時空間音圧分布画像のスペクトルに関する連立方程式を解くことで目的音の抽出が実現できることを示した。ただし，原理的には4マイクロホンでは「4音源まで分離できる」はずであるが，実際には「分離可能であるものの歪が残る」ことが課題として示された。2021年度には，フェーズドアレイの要領で位相項を自由に変化させることにより，焦点を自由位置に動かす技術を導入した。その検討の中で，2020年度における歪発生の問題は，分析時間窓を短くした場合にはパワーが極端に小さくなる周波数があり，連立方程式が悪条件となることが原因であることを明らかにした。また，焦点位置を変化させることが分離性能に及ぼす影響も明らかとした。以上の成果をIEEE GCCE2021および日本音響学会2021年秋季研究発表会で報告した。
別の解法として，振幅スペクトルを音圧レベルで表示した非線形連立方程式をニューラルネットワーク(NN)により解くことを検討した。この件に関しては，直線上に配置したアレイに平面波が到来するという最も基本的な場合を取り上げ検討を行った。こちらも位相項まで考慮し，振幅とは独立なNNで推定することで十分な性能が得られることを示した。この成果を電子情報通信学会の研究会などで報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
アルゴリズムに関しては，フェーズドアレイの要領で焦点を自由に移動させることも導入でき，当初計画を達成した。
一方で，当初計画では，2021年度には，分担者が所属する東北大学・秋田県立大学の無響室において，実機を用いた検証を行いたいと考えていた。しかし，コロナ禍が継続していたため長期の出張は困難であり，実施できなかったという点では遅れがある。しかし，アルゴリズムを実機実装する場合を想定して，マイクロホンを不等間隔に配置することの有用性を検討する計算機シミュレーションを実施できたので，その遅れをリカバリするだけの成果をあげることができたと考えている。
|
| Strategy for Future Research Activity |
2021年度までの計算機シミュレーションを用いた検討で，4マイクロホンにより4音源の分離まで成功した。ただし，そのシミュレーションでは，現実の場面に存在する背景雑音の影響を考慮していなかった。そこで，2022年度は背景雑音の影響を検討したいと考えている。
可能であれば，分担者が所属する機関の無響室において実機を用いた検証を行いたいと考えているが，2022年5月時点ではコロナ禍が継続しており，山梨大学所属の代表者が測定するための長期出張計画の立案は困難であり，時期的な見通しは立てられない。この出張が不可能な場合には，以下の問題に取り組みたいと考えている。これまでは複数音源の位置が既知であることを前提とした分離問題を考えてきた。これはスマートフォンへの搭載を想定していることから，カメラを利用できることを前提としていた。一方で，音響信号だけから音源までの距離を推定することも可能であると考えられるので，この測距問題に取り組みたいと考えている。
|
| Causes of Carryover |
2021年度には，研究代表者が分担者所属機関の無響室における測定実験を予定していたが，コロナ禍のため実施できなかったゆえ旅費が執行できなかった。また，その計測機器制御用のコンピュータの購入も差し控えた。
さらには，成果発表を行った国際学会ICECCE 2021（マレーシア，クアラルンプール）およびGCCE 2021（京都）はオンライン発表となったため，旅費が不要となった。
|
Research Products
(9 results)
