2020 Fiscal Year Research-status Report
Development of sound source separation method focusing on the singular point in spatio-temporal spectrum
| Project/Area Number |
19K04408
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
小澤 賢司 山梨大学, 大学院総合研究部, 教授 (30204192)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
渡辺 貫治 秋田県立大学, システム科学技術学部, 准教授 (20452998)
坂本 修一 東北大学, 電気通信研究所, 教授 (60332524)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 時空間音圧分布画像 / マイクロホンアレイ / 特異点 / 音源分離 / 時空間スペクトル / ニューラルネットワーク / 雑音抑圧 / フェーズドアレイ |
|---|
| Outline of Annual Research Achievements |
本研究では，スマートフォンに搭載可能な程度の小規模マイクロホンアレイにより，高精度な目的音抽出の実現を目指している。その基本戦略として，アレイ出力を画像（時空間音圧分布画像）と見なした場合に，その時空間スペクトルにおいては音源位置が特異点となることを利用する。特に，方向が同一で距離のみが異なる複数音源からの抽出を可能とすることに意義があると考えている。
2020年度も，4個のマイクロホンを約6 cmの円弧上に配置したアレイを想定し，同一方向に3音源がある場合に，そのうちの1音源からの音を抽出することを検討した。2019年度の検討で，原理的には時空間音圧分布画像の振幅スペクトルに関する連立方程式を解くことで目的音の抽出が実現できることを示したが，実際には連立１次方程式の係数行列が悪条件となるため求解が困難であることが判明していた。2020年度は，その連立方程式を位相項まで考慮した複素数の方程式として解くことに挑み，その結果として目的音の抽出のみに留まらず，3音源を分離できることを示した。ただし，4音源の場合には，分離は可能であるが若干の歪が残ることが課題として示された。以上の成果をIEEE GCCE2020および日本音響学会2020秋季研究発表会で報告した。
別の解法として，振幅スペクトルを音圧レベルで表示した非線形連立方程式をニューラルネットワークにより解くことを検討した。この件に関しては，直線上に配置したアレイに平面波が到来するという最も基本的な場合を取り上げ検討を行った。こちらも位相項まで考慮することで，十分な性能が得られる見通しが得られた。この成果を電子情報通信学会の研究会などで報告した。
さらに，マイクロホンを平面上に配置することで，立体角2π[sr]の空間における音源分離に適用できることも示し，IEEE 2020 ICCE-Taiwan で報告した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画では，2020年度までにフェーズドアレイの要領で位相項を変化させることによって情報を増加させることを考えていた。その検討は進めてきたが，成果発表を予定していた国際会議がコロナ禍のため中止となってしまい，2020年度中に成果発表ができなかったという点では若干の遅れがある。
一方で，円弧上のマイクロホン配置以外に，直線上および平面上へのマイクロホン配置によるアレイについて検討した成果を2020年度中に学会報告できたことは，当初計画を上回っている。
以上，全体として，概ね順調に進展しているものと考えている。
|
| Strategy for Future Research Activity |
2021年度は，フェーズドアレイの要領で位相項を変化させることで情報を増加させ，4マイクロホンによる小型アレイで，アレイから距離方向に並ぶ4音源を分離することを目指す。
また，計算機上のシミュレーション実験だけではなく，分担者が所属する東北大学・秋田県立大学の無響室において，実機を用いた検証を行いたいと考えている。ただし，2021年5月時点ではコロナ禍の最中のため，山梨大学所属の代表者が東北大学・秋田県立大学に出張する計画立案は困難であり，時期的な見通しは厳しいものと考えている。
|
| Causes of Carryover |
コロナ禍のため2020年度に研究成果を発表する予定であった国際会議が中止あるいはオンライン開催となり，また国内開催の学会はオンライン開催となったため，計上していた学会参加旅費を2021年度に繰り越すこととなった。また，代表者・分担者間の打合せもオンライン会議で済ませたため，研究打合せ旅費も2021年度に繰り越すこととなった。
繰り越した予算は，2021年度に開催の学会参加旅費および代表者・分担者間の打合せに利用する予定である。
|
