2021 Fiscal Year Annual Research Report
A study of acoustic cross-reality based on selective listening point audio
| Project/Area Number |
19K12193
|
|---|
| Research Institution | Meijo University |
|---|
Principal Investigator |
西野 隆典 名城大学, 都市情報学部, 教授 (40329769)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 頭部伝達関数 / 両耳室内インパルス応答 / 深層学習 / クロスリアリティ |
|---|
| Outline of Annual Research Achievements |
本課題は、これまでに提案した自由頂点音響技術を発展させ、音響技術によるクロスリアリティ（仮想現実感、拡張現実感、複合現実感、隠消現実感）の実現に向けた検討を行っている。特に、ユーザが所望する音環境や、ユーザに聞いて欲しい音環境の立体音響再生が主題である。最終年度は、人間と同程度に音源定位を行う深層学習を用いた音源定位モデルの改良、深層学習の応用の検討に加え、検討するシステムの制御やユーザ観測への利用を図るため筋電位のセンシングについて検討した。
深層学習を用いた音源定位モデルでは、これまでに検討してきた多層ニューラルネットワークを用いた深層学習による音源定位について改良を進めた。これまで検討してきた、残響時間が異なる両耳信号データセットを用い、学習と評価で音源信号を変えるといったモデルの改良を行った。実験の結果、多様な残響時間のデータセットを用いることで、未知の残響時間への対応が可能であることが示唆されたが、人間のような前後の誤りの発生が少ないであるとか、人間では区別できない音源方向の差が検知できてしまうといった傾向がみられた。
また、筋電位の利用に関しては、筋肉の動きをシステムのトリガーに利用することを模索した。実験では、発声に関わる筋肉の動きのセンシングと筋電位信号の特性について、分析及び評価を進めた。筋電位利用の一例として発声に伴う疲労の検出を行った結果、筋電位の変化と疲労状態との間に関連がみられることが確認できた。
|
