Development of edutainment system for global sound space recognition using silent region localization
Project/Area Number |
19K12286
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
Research Institution | Tohoku Gakuin University |
Principal Investigator |
岩谷 幸雄 東北学院大学, 工学部, 教授 (10250896)
|
Project Period (FY) |
2019-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
Keywords | 静音領域定位 / 音像定位 / HRTF / BRIR / 聴覚ディスプレイ / エッジコンピューティング / 頭部伝達関数 / エデュテインメント / 訓練 / フィードバック / 中途失明者 / 空間認識訓練 |
Outline of Research at the Start |
超高齢化社会を迎えるにあたり、糖尿病等の要因により、中途失明となる成人の増加が懸念される。本研究では、人間にバーチャル音空間を提示する聴覚ディスプレイを用いて、聴覚による空間認識訓練が可能なシステムを構築する。
従来の関連システムでは、発音する物体の位置を把握する「音像定位能力」の訓練を目指したものが多かったが、本研究ではさらに、壁やドア等の発音をしない物体や空間の認知を「静音領域定位能力」と称し、これを含めたグローバルな音空間認知を高めるためのシステムを構築する。
|
Outline of Annual Research Achievements |
静音領域定位の訓練方法について、実音源および仮想音場を用いた実験を引き続き行っている。実音源の実験では、8方向から無相関のホワイトノイズを放射し、どの方向から音がしていないかを判断させる実験を行った。フィードバックの有無による訓練効果は見られなかった。テストの日数の主効果だけが有意にきいていた。仮想音場を用いた実験では、フィードバックありの正答率が有意に向上していることが分かった。また、訓練時に使っていなかった音場の正答率を分散分析したところ、音源位置の主効果、交互作用が確認されなかった。このため、訓練に用いた音場との差が有意でなかったことが示唆され、静音領域定位の汎化が示唆された。これらの知見を加味し、仮想音場を用いたゲーム仕立ての訓練システムを開発中であり概ね完成しつつある。 仮想音場を提示するためのエッジコンピューティング型聴覚ディスプレイの構築では、サーバを複数化することで、音場を合成するためのBinaural Room Impulse Response(BRIR)の長さを262144ポイント(44.1kHzサンプリングで6秒程度)まで長時間することが可能となった。これを応用することで、携帯端末等コンピューティングリソースが乏しいクライアントであっても超高精細な音場の合成が可能となる。 静音領域定位訓練の試みの一部は、神奈川工科大学のE-スポーツシンポジウムや、日本音響学会の研究発表会等で招待講演の中で公開し注目を得た。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
仮想音場の訓練時に回答を適切にフィードバックすることで、訓練効果を上げることが分かった。さらに、能力は、訓練に用いた音場だけでなく、他の音場へ汎化することも示唆された。このことから、訓練の方法に一定の目処が立った。
また、エッジコンピューティング型聴覚ディスプレイの高度化を目指し、複数サーバとの通信により、これまでの倍程度のBRIRの処理が可能となった。これは、これまでよりも高精細な仮想音場の提示への応用が期待される。
さらには、ゲーム仕立ての静音領域訓練システムを構築中であり、トータルとして当初の目標を概ね達成しつつある。
|
Strategy for Future Research Activity |
これまでの訓練は、静音領域が固定された音場を提示していたが、音場の変化による感度を検証するために、始めに静音領域がない音場を提示して、その後で開放空間に相当する静音領域を含んだ音場を提示する訓練も試みる。
最終的に、現在構築中のゲーム仕立ての静音領域訓練システムを完成させ、このシステムによる訓練効果の検証を行う。
|
Report
(4 results)
Research Products
(11 results)