2013 Fiscal Year Research-status Report
並列畳み込み処理に基づく複数聴取者のための仮想音空間共有システムの開発
| Project/Area Number |
24700120
|
|---|
| Research Institution | Akita Prefectural University |
|---|
Principal Investigator |
渡辺 貫治 秋田県立大学, システム科学技術学部, 助教 (20452998)
|
|---|
| Keywords | 聴覚ディスプレイ / 頭部伝達関数 / GPU / 複数聴取者 / 複数音源 / マルチユーザー / マルチチャンネル / 共有 |
|---|
| Research Abstract |
本研究は，仮想的な音空間を共有するシステムの検討・開発を進めている．システムの原理は，音源から聴取者の鼓膜までの音の伝搬特性である頭部伝達関数を音源信号に畳み込むことで，実音源が存在するときに聴取者の耳に入射される音と同じ音信号を模擬することである．複数の聴取者が存在するとき，各聴取者は異なる位置で音を聴取していることになるので，複数の頭部伝達関数を同時に処理する必要がある．本システムでは，GPUを用いた並列処理によって同時処理を実現している．ただし，各聴取者を基準とした頭部伝達関数を選択することとなるため，聴取者の位置をシステムが把握する必要がある．さらに，聴取者が自由に移動する可能性があるため，実時間で位置を検出し，仮想音源の提示を行うことが望ましい．
以上のような問題意識のもと，24年度では，静止状態で聴取者の位置を検出するインタフェースを実装した．25年度は，さらに，聴取者の移動も考慮して，実時間で位置を取得するインタフェースの検討を行った．聴取実験によって，聴取者の移動や頭部運動に追随できていることは示された．しかしながら，検出に用いているKinectの仕様によって，移動範囲が1～2 m程度に限られていること，頭部の向きの検出が最大でも左右40°であることがシステムの制約となっており，今後の課題である．
多数の音源，聴取者に対する実時間処理を実現するために，24年度に引き続き，頭部伝達関数の簡略化についても検討を行った．本システムは，時間領域での畳み込み処理をしているため，時間波形の量子化精度を低下させる簡略化を検討している．24年度は，8 bitまで低下させても仮想音源の方向知覚に影響が見られないことを示した．それを踏まえ，25年度は，音色も含む総合的な影響を聴取実験で検討した結果，同様に8 bitまでであれば影響が見られないことが示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
聴取者の位置を取得するために，25年度までに画像認識に基づく聴取者の移動，及び頭部の回転に対応したインタフェースを実装した．位置及び回転の取得精度を検証した結果，聴覚ディスプレイとしては十分な精度であることは確認できた．また，処理にかかる時間は，頭部伝達関数の畳み込み処理に要する時間内に終えられていることも確認できたため，聴取者の動きに追随して適切な仮想音源を提示可能であることも示された．一方，用いている画像認識の方式によって，聴取者の移動範囲や頭部運動の範囲に制約があるため，現状で完成したとは言いがたい．画像認識の方法を見直す必要が考えられる．ただし，取得した位置情報をシステムの音響処理部分に受け渡す処理の実装は完成したと考えてよいため，全体としては順調であると考えている．
頭部伝達関数の簡略化の方は，新しい簡略化方法の提案及び検証を進めている段階である．時間波形に対して量子化精度を低下させることが提案法の基盤であり，簡略化が聴感に与える影響の検証を行ってきた．聴取実験では，音源信号としてノイズのみしか用いていないため，音楽や音声などへの影響がまだ明らかではないものの，広帯域信号での影響は示せたことからおおむね順調に進められていると考えている．量子化精度が8 bitまで低下させられるということは，16 bitとして処理している本研究のシステムにとって，両耳の信号を同時に扱えるということとなるため，処理の効率化が期待できる．そのような実装が可能かは今後の課題である．
|
| Strategy for Future Research Activity |
インタフェースの検討については，まず画像認識の方法を変更する予定である．現在は，Kinectの開発環境に含まれている処理を適用しているが，コアの部分が公開されていないため，現在の実装をさらに調整することは困難である．一方，画像認識による人物の動作を検出する方法は多数提案されており，高速な処理方法もいくつか公表されている．今年度はそのうちの一つに基づいた実装を検討する予定である．また，現在の方法では，複数の聴取者が重なった場合に正確な認識が難しいという問題がある．これについては，画像認識に用いているカメラの位置を変更したり個数を増やしたりすることで対応する予定である．また，今年度は，最終年度であるため，実装されたシステムの聴取実験による評価も実施する．
頭部伝達関数の簡略化については，簡略化方法の検証まで終えた段階である．今後は，システムへの具体的な実装について検証する予定である．本研究の聴覚ディスプレイシステムは，GPUを用いており，その特徴としてメモリへのアクセス回数が処理の負荷に大きく影響することがわかっている．つまり，簡略化した頭部伝達関数をどのようにメモリに展開するか，畳み込み演算のアルゴリズムをどうするか，などが処理性能に大きな差を生じる可能性が高い．そのような性質を踏まえた実装が可能かの検討を進めることを考えている．ただし，現状は画像認識の制約の方が大きいため，処理性能を高めるよりも，複数聴取者が共有できるためのインタフェースの実装の方を優先するつもりである．
|
