2019 Fiscal Year Research-status Report
A study of acoustic cross-reality based on selective listening point audio
| Project/Area Number |
19K12193
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
西野 隆典 名城大学, 都市情報学部, 教授 (40329769)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 頭部伝達関数 / 深層学習 / 快音・不快音 / クロスリアリティ |
|---|
| Outline of Annual Research Achievements |
本課題では、ユーザが所望する音環境や、ユーザに聞いて欲しい音環境を立体音響再生するシステムの構築および評価を行う。これまでに提案した自由頂点音響技術を発展させ、音響技術によるクロスリアリティ（仮想現実感、拡張現実感、複合現実感、隠消現実感）を実現しようとするものである。今年度の検討課題は、ユーザに提示する音の選択に関して、どのような音が聞きたくないと思われているかの調査、および深層学習を用いた人間と同程度に音源定位を行う音源定位モデルの検討である。
ユーザがどのような音が不快であると感じられるかについては、200名を超える人数に対してアンケート調査を実施し分析を行った。このアンケートについては大学学部生の若年層に対して継続して実施しており、年度ごとに世代や実施環境の違いなども評価を行っているものである。本検討システムでは、ユーザにとって必要な音を決定して提示するという枠組みであるが、一方で聞きたくない不快であると感じられる音についても併せて検討しておくことで、より重要度の度合いが高まると考えた。
また、音源定位モデルについては、多層ニューラルネットワークを用いた深層学習による音源定位について検討を進めた。これまでに、音響信号の波形をニューラルネットワークの入力とし、音源方向と対応付けるネットワークを構築したが、人間よりも精度の良い定位となり本課題の目指すところと異なる結果となっていた。そのため、人間の音源定位の弁別限を参考として、正解方向に幅を持たせる検討も行った。これにより、人間の方向定位と類似するような結果が得られた音源方向も現れたが、全体としては精度がはるかに良いか、明らかに劣るといった結果となり、今後さらなる検討が必要であると考えられる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ユーザが聞きたくない音、すなわち不快音に関しては、200名を超える大学学部生に対してアンケート調査を実施した。このアンケート調査は年度ごとに同一学年に対して実施しており、世代、実施環境、生活背景の違いなどによる傾向の差が得られるかも併せて調査した。アンケート調査結果から得られた成果は、不快音であるとした候補音が、必ずしも不快であると思われていないこと、また、本課題で検討するシステムではヘッドホン利用を想定しており、若年層のヘッドホン利用の大まかな傾向が得られたことである。なお、このアンケート結果については、要因が多岐にわたるため、回答の分布に有意差があるか否かについて基本的な統計解析を行ったのみであるため、今後、より詳細に分析を進める必要がある。
深層学習を用いた音源定位モデルについては、これまでに作成し公開した頭部伝達関数データベースを利用することにより実験データを整えた。作成した実験データにより、音源方向を1°間隔、5°間隔と変化させて音源定位モデルの評価実験を実施した。評価実験では、音源定位を音源方向数分の分類問題として考える条件と、正解方向が最大確率となるような確率密度関数を出力するような条件とを検討した。分類問題として検討した結果、白色雑音を用いた条件においては、人間が持つ精度以上の非常に高い精度で分類することができ、研究目的とは異なる結果となった。また、確率密度関数と対応付ける実験条件においては、人間の音源定位の弁別限の角度を分散とみなしたガウス分布を教師データとして用いたが、こちらも目標となる結果とは異なる結果となった。しかし、分類問題として考えることよりも、確率密度関数と対応付けることが有効であると推測されたため、引き続きこの条件での検討を進める予定である。
|
| Strategy for Future Research Activity |
ユーザが不快であると感じられる音については、要因が多岐にわたることが改めて確認されたが、現在得られているデータについての分析が一部分しか行えていないため、傾向についてより詳細に分析を進めていく。また、大学学部生を対象とした若年層における傾向を継続して調査する。特に2020年度においては、通常の大学生活を行うことができていないことから、これまでと傾向が変わる可能性があり、そのような特殊なデータが得られることが期待できる。
また、音源定位モデルについては、当初の目標である「人間と同程度」が実現できておらず、人間よりもはるかに高性能か、人間よりも明らかに劣るかといった極端な性能となっている。これについて、深層学習モデルの見直しや、教師データの工夫が必要であると考える。現時点での検討は、人間の聴覚における入力は、鼓膜で受けた音波の振動であることから、検討するシステムにおいても音響信号の波形データを入力として使用しているが、スペクトラムや、両耳差分スペクトルなど、周波数領域でのデータ表現の検討も進める。また、教師データとして、人間の弁別限をもとにしたガウス分布近似モデルを検討しているが、この確率密度関数について適切であるか検討が不十分であるため、別の確率密度関数についても検討を進める。
また、これらの研究と関連して、人間の行動を多方面から知るため、インタラクションデザインに関わる研究や、音源定位モデルで使用する深層学習手法を改良に向けた知見を得るための新たな深層学習手法や適用先についても検討を進める。
|
| Causes of Carryover |
物品費では、コンピュータや外部記憶装置の性能向上などのため、当初予定していた性能の物品が予定額よりも安価となったことにより、物品費が計画よりも少ない執行額となった。また、旅費については、新型コロナウイルスの影響により、年度の後半で予定していた研究発表会が現地開催中止となるなど、執行計画との差が生じた。
次年度については、研究発表会がオンライン開催になるなどの現況を踏まえ、研究成果の公表先として検討している研究発表会がオンラインでの開催となった場合についても発表ができるよう、必要な物品の購入を計画している。ただし、新型コロナウイルスの影響により、情報機器の納入の遅れなどが生じていることから、物品購入にかかる種々の情報を入手し、計画的に執行することを目指す。また、旅費については、執行計画通りに進める予定であるが、参加を予定している国内外の研究発表会が中止や現地開催中止となることも予想されるため、適宜、旅費の執行計画について見直しを行い、適切な研究活動を行う。
|
