2019 Fiscal Year Research-status Report
| Project/Area Number |
19K12056
|
|---|
| Research Institution | Osaka Sangyo University |
|---|
Principal Investigator |
高橋 徹 大阪産業大学, デザイン工学部, 教授 (30419494)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | マイクロホンアレイ / 分散マイクロホン / 5Gネットワーク / 音声録音 / ネットワークマイクロホンアレイ |
|---|
| Outline of Annual Research Achievements |
本研究課題では、極めて小さい音量の音を収音する上での問題点や収音方法について研究している．音を収音するにあたり、一般には多くのマイクロホンで収音するほど、極小音をとらえやすくなる．そこで収音システムのマイクロホン素子を増やす方法を検討した．具体的には、マイクロホン素子を２つ以上もつマイクロホンアレイを複数組み合わせた音声収音手法の開発に取り組んだ．個々のマイクロホンアレイ内ではマイクロホン素子は同期して音声をサンプリングする．一方、マイクロホンアレイ間は非同期動作する．このため全体のマイクロホン素子数を増やす際、マイクロホンアレイを追加していくことで大規模展開が容易である．しかし、マイクロホンアレイ間のタイミング調整が必要になる問題があった．本研究では、次世代通信ネットワークの5Gでは、セグメント内で1ms以内の遅延が保証されることから、マイクロホンアレイをネットワーク接続する音声収録方法について考察した．理論上10,000マイクロホン素子オーダーの録音が可能になる．実験5Gに替え、有線接続のネットワーク上にマイクロホン素子を展開した．4素子マイクロホンアレイ2組で構成する8素子構成において、録音開始タイミングから各アレイの録音開始が平均300ms前後の遅延すること、また遅延のばらつきが前後15ms程度に収まることを確認した．ネットワークを介したマイクロホン素子の同期では、約30ms以下のずれを補正する問題を解ければよいことがわかった．ソフトウェア的な後処理で擬似的に同期して収録できる可能性を示唆できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１台の計算機上に、最大８マイクロホン素子での同期録音が可能な装置（以後端末と呼ぶ）を構成し、その制御ソフトウェアを開発した．２つの端末をTCP/IPネットワーク接続し、ブロードキャストパケットによる録音開始・録音停止する制御ソフトウェアを開発した．収録音を評価するための仕組みとして、スピーカーを最大８個搭載可能で同期再生可能な装置を構成し、そのソフトウェアも開発した．録音端末と再生端末は、１つの計算機で兼用可能とした．これらの端末をTCP/IPネットワーク接続により再生開始と停止を可能としたことにより、最大16音源を同時に再生可能となった．現時点でそれら１６音源を１６素子で収録することが可能になっている．順次マイクロホン素子とスピーカーを追加し実験環境の増強を図っている．これらの音再生・収音するための装置とソフトウェアを開発したことによってマルチ音源・マルチ収音実験環境が研究計画通りに順調に整備された．これまで１音源を２組の装置で非同期に録音する実験を実施し、次の３点が明らかになった．（１）再生録音開始タイミングを送信後、約300ms後に録音が開始される．（２）端末間の相対的な時間のずれは約30ms以下になる．（３）遅延の主要因はOSおよびアプリケーションのオーバーヘッドである．以上の結果から，30ms程度のズレを補正する手法を開発することで，ネットワーク上に構成する多数マイクロホン素子による擬似的同期録音が可能となることが示唆された．
|
| Strategy for Future Research Activity |
端末間の相対的ずれが約30ms以内であることが明らかになったことから，厳密な時間同期の必要な同期加算処理は困難であることが予想できる．しかしながら時間分解能を妥協することで擬似的な同期を考えることができる．また、マイクロホン素子全体では非同期であるが、端末内では同期していることから、この点を有効に活用することもできる．ずれを許容しつつ音源定位を実現することができる．ずれが30ms程度であることは，短時間パワースペクトルの差を無視できる可能性がある．個々の端末内に限り時間同期処理を適用し，端末間ではパワースペクトル上での処理を併用した擬似多数素子をもつマイクロホン処理を提案できる見込みである．端末ごとに音源定位アルゴリズムを用い、端末間の結果を統合することで定位精度を改善できると予想される．これまでは、１音源に特化して研究を進めてきたが、多音源の場合の処理についての収音の問題点について明らかにしていく予定である．特に２音源に大きな音量差がある場合を考え、音量の小さい音の収音に関する問題点を明らかにし、対応策を考えていく計画である．
|
| Causes of Carryover |
コロナウイルスの影響により学会の発表会が中止になり、予定していた旅費を支出できなかったこと，および１～２月に購入予定であった消耗品（マイクロホンなどの音声収録関連品）が、海外取り寄せ品であったため予定通り購入できなかった．１２月までに入手できた分にて研究を遂行してきた．２０２０年度に順次マイクロホンを追加し実験装置の規模を拡大していく予定である．
|
