2022 Fiscal Year Research-status Report
Development and evaluation of an applause and hand-clapping sound feedback system to improve a sense of unity on remote live viewing
| Project/Area Number |
21K17869
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
河原 一彦 九州大学, 芸術工学研究院, 准教授 (20234099)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 遠隔臨場感 / ネットワークオーディオ / ライブビューイング / 信号抽出 |
|---|
| Outline of Annual Research Achievements |
音楽ライブのライブビューイングにおいて, ビューイング会場で起こった反応をフィードバックすることで,ライブにおける一体感の向上が見込まれており, 観客の反応の代表として拍手, 手拍子を取り出してフィードバックする研究をおこなっている。
本研究の先行研究により, ライブビューイングにおいて配信先会場の観客らの拍手を本会場へフィードバックする拍手音伝送再生システムが開発されている。
この拍手音伝送再生システムの中で, 拍手音の抽出に関して先行研究では, NLMS-アルゴリズムを使った適応フィルタを用いて会場内の音を抽出し, その後拍手検出を行っている。しかし, このパラメタについて十分に検討されておらず, アルゴリズムを再検討することにより、抽出精度を高めることができると考えた。
本研究では、室内音場の特性をNLMS-アルゴリズムによりモデル化し、オフラインで逆フィルタを設計することで、拍手音の抽出精度を上げることを試みた。また，オンラインで実時間に逆フィルタを設計するために，配信先会場で収音した音の高域を強調することを試みた。
過去に収録した、実際のライブ会場における拍手音をもちいることで、抽出実験(シミュレーション)をおこなった。
その結果、十分な信号対雑音比で、拍手音の抽出が行えることがわかった。しかし、リアルタイム動作や安定性については、さらなる調査が必要であることもわかった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍により、人が集まる行事を実施することができず、実際のライブ(演奏会)を行う事も、そのライブを伝送し、視聴するビューイング会場を設定することもできなかった。
そのため、本研究のシステムのリアルタイム動作を検証する機会をつくることができなかった。つまり、本研究の主たる目的である、実証実験が行えなかった。
そのため、「やや遅れている」という進捗状況となっている。
ライブを行えなかったため、2021年度，2022年度は、主としてシミュレーションにより、拍手音抽出・検出に関するアルゴリズムの検討を行った。
しかし、ライブが実施できなかったため、過去の先行研究の際に、収録した音源を用いた。
それらの音源については、マイクロホンの設置位置などについて、十分な精度での記録が残っておらず、科学的に十分なデータとはいえないのが残念である。
|
| Strategy for Future Research Activity |
現在検討中のアルゴリズムのリアルタイム動作実装を行うとともに、リアルタイム実装を評価するための、実証実験を計画し、実現することを行う。
ライブビューイングの実験には、演者やエンジニア等、多くの人が関わるため、コロナ感染における行動指針などを注視して、計画をすすめたい。
コロナ感染による行動制約が、まだ続くような状況と判断出来た場合は、引き続き、シミュレーションにより、アルゴリズムの検証を行う予定である。
検討したアルゴリズム等は、国際会議などで発表を行いたい。
|
| Causes of Carryover |
コロナ禍のため、当初の計画を大きく変更せざるを得なかった。研究動向調査などの出張をとりやめることになつたため、主として旅費の計画が大きく変更となり、「次年度使用額」が生じた。
「次年度使用額」は、主として、研究成果発表などの国際会議出張の旅費などにあてる予定である。
|
