2020 Fiscal Year Annual Research Report

分散ステレオマイクロフォンアレイに基づく音空間認識とその実世界応用

Research Project

Project/Area Number	19J20420
Research Institution	Tokyo Metropolitan University
Principal Investigator	山岡洸瑛東京都立大学, システムデザイン研究科, 特別研究員(DC1)
Project Period (FY)	2019-04-25 – 2022-03-31
Keywords	分散マイクロフォンアレイ / 音響信号処理 / アレイ信号処理 / 時間差推定 / サンプリング周波数ミスマッチ推定 / 音源強調 / 補助関数法
Outline of Annual Research Achievements	本研究課題では，複数のマイクロフォンを空間上に分散配置した，分散マイクロフォンアレイ（分散アレイ）を用いた音空間認識に取り組んでいる．また，音空間認識のための基礎技術として，空間上に存在する複数の音源信号の分離及び強調と音源位置情報の推定を統一的に行う技術の確立を目指している．これらの技術は，屋内環境において，移動検知に基づく高齢者の見守りシステムや，ライフログの収集など，様々なサービスの実現に大きく寄与することが期待される．昨年度までは，少ないマイクロフォンを用いて，高性能な音源強調を達成する手法として，time-frequency-bin-wise switching (TFS) beamformerを研究してきた．本年度は，さらなる性能向上を目指し，time-frequency-bin-wise linear combination (TFLC) beamformerを提案した．提案手法は，非線形なシステムでありながら，理論的に，目的音源を劣化させることなく強調可能な技術である．これは，後段に音声認識などの応用を考えた際に，工学的有用性が高い．また，昨年度は，2つのマイクロフォンを用いて，単一の音源を観測した際に生じる時間差を高精度に推定する手法も提案してきた．本手法は，IEEE SPS Tokyo Joint Chapter Student Awardを新たに受賞した．本年度は，昨年度提案した単一の時間差推定法を，3個以上のマイクロフォンを用いた手法へと拡張した．複数のマイクロフォンを用いた時，マイク数-1個の時間差を推定する必要があり，提案法はこれらを同時かつ高精度に推定可能である．分散アレイでは，時間差が極めて重要な情報であり，また，多数のマイクロフォンが使用される技術であることから，提案手法は，今後，基本的な技術として幅広く用いられることが期待される．
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 学術的な成果として，本年度は，国際会議論文1編，国内学会発表2件という成果が得られた．また，IEEE Signal Processing Society Tokyo Joint Chapterより，優れた論文を発表したとして，IEEE SPS Tokyo Joint Chapter Student Awardを受賞した．以上の研究成果より，本研究の学術的意義が高く評価されているといえる．また，提案しているTFLC beamformerおよび，複数時間差の同時推定法についてジャーナル論文を執筆中であり，前者は投稿中，後者は次年度初頭に投稿予定である． TFLC beamformerは，アイデアこそ以前から考えていたものの，その最適化問題を解くことが非常に困難であり，昨年度までは実現しなかった．しかし，本年度，幾何学的アプローチにより最適化を行うアルゴリズムを考案し，TFS beamformerの性能をさらに向上させることに成功した．これ当初の計画にはない成果である．少ないマイクロフォンを用いた音源強調技術は，分散アレイへと展開する上で重要な役割を果たすと期待される．また，本年度提案した複数時間差の同時推定法は工学的にも学術的にも非常に意義のある成果である．これまで，複数時間差の同時推定法のために最適化すべき関数は，解析的に解くことができず，効率的な探索アルゴリズムを用いるなどの手法が提案されていた．これに対し提案手法は，近年盛んに研究されている補助関数法を用いることで，解析的かつ高速に最適解を得ることができる．時間差の推定は，分散アレイにおいて極めて重要な役割を果たすだけでなく，レーダーや反射法地震探査など，幅広い分野において重要な情報であり，学術的意義が極めて大きい．
Strategy for Future Research Activity	本年度は，これまでに研究してきた手法を分散アレイへと展開するために，3個以上のマイクロフォンを用いた信号処理技術を研究してきた．来年度の初頭は，まず，これらの成果をまとめてジャーナル論文の投稿を行う．その後，これらの成果をまとめる形で，分散アレイを用いた音源強調技術の開発を目指す．具体的には，分散配置したステレオマイクロフォンをサブアレイとみなし，各サブアレイの情報を統合する形での音源強調手法を検討する．そのためには，サブアレイ内での効果的な音源強調技術に加えて，サブアレイ間の信号の同期化を実現する必要がある．これらにはそれぞれ，TFLC beamformerと複数時間差の同時推定法が応用可能だと考えられる．特に，信号の同期化は分散アレイを用いた信号処理において必要不可欠な技術であり，音源強調だけでなく，様々な手法へと応用可能だと期待される．音源強調技術に加えて，音源の位置推定法も検討する予定である．これは，空間的な特徴を表す情報として，時間差と音源位置が密接に関わることから，複数時間差の同時推定法を拡張する形での実現を検討する．最終的に，以上の手法を組み合わせ，分散ステレオマイクアレイを用いることで，目的音源の強調およびその位置推定により，広い空間における統一的な音情報の利用を実現するための枠組みとして，音空間認識技術を検討する．具体的には，近年普及しているスマートスピーカを拡張したスマートホームを想定し，家の中どこにいてもAIとの対話が可能な技術を検討する．