A study of acoustic cross-reality based on selective listening point audio
| Project/Area Number |
19K12193
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61060:Kansei informatics-related
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 音響クロスリアリティ / 立体音響 / 頭部伝達関数 / 深層学習応用 / 快音・不快音 / 両耳室内インパルス応答 / 深層学習 / クロスリアリティ / 自由頂点音響 / 音源定位 |
|---|
| Outline of Research at the Start |
本課題では、ユーザが所望する音環境や、ユーザに聞いて欲しい音環境を立体音響再生するシステムの評価および構築を行う。本課題は申請者らが提案した自由頂点音響技術を発展させ、音響技術によるクロスリアリティ（仮想現実感、拡張現実感、複合現実感、隠消現実感）を実現しようとするものである。本課題は、ユーザの嗜好に合わせた音の再配置、音の強調・低減を行う手法の検討、ならびに、高臨場感音場再現において重要な評価指標である音像定位について、人間の知覚と同等の評価を行うことを可能とする、機械学習にもとづく音像定位評価システムの開発である。
|
| Outline of Final Research Achievements |
This study investigated a realization of acoustic cross reality such as virtual reality, augmented reality, and mixed reality, with the subject of three-dimensional acoustic reproduction of the sound environment desired by the user and provided to the user. From the viewpoint of providing a comfortable sound environment, a large-scale survey of discomfort environmental sounds was conducted, and a method of converting one's recorded voice to one's own heard voice was also proposed. In addition, a sound source localization model based on deep learning was examined. The goal of this sound localization model will achieve its performance to the same degree as humans. The experiments using different acoustic signals for training and evaluation were conducted and revealed its performance and some problems.
|
| Academic Significance and Societal Importance of the Research Achievements |
本課題は、立体音響を活用した音響情報提示の基礎検討を行ったものである。ユーザに違和感を抱かせないような音響提示を行うための検討からは、世代間の差を明らかにするとともに、既存の音声処理技術を用いても有効な音声加工が可能であることを確認した。これらの結果から、違和感が少ない音響提示が可能であることが示唆された。また、深層学習応用から、人間と同様の音源定位を行うために必要なモデルや学習方法についての課題について整理することができた。本課題の成果は、仮想現実技術やロボット技術において活用できると考える。
|
Report
(4 results)
Research Products
(18 results)
