Development and evaluation of an applause and hand-clapping sound feedback system to improve a sense of unity on remote live viewing
Project/Area Number |
21K17869
|
Research Category |
Grant-in-Aid for Early-Career Scientists
|
Allocation Type | Multi-year Fund |
Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
Research Institution | Kyushu University |
Principal Investigator |
河原 一彦 九州大学, 芸術工学研究院, 准教授 (20234099)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
Keywords | 遠隔臨場感 / ネットワークオーディオ / ライブビューイング / 信号抽出 / 遠隔一体感向上 / 拍手 / 音響-映像伝送 |
Outline of Research at the Start |
本研究では,音楽等のライブビューイングの遠隔臨場感の構成要素の一つである一体感向上のために,ライブビューイング環境において拍手音のフィードバックを行うことができるシステムを開発・改良し,一体感を享受できる程度の遅延量での拍手音伝送を行うことを試みる。 また開発したシステムを用いてライブビューイングを行うことによりライブビューイングの場において拍手・手拍子音フィードバックを行うことの効果を実験的に検証する。
|
Outline of Annual Research Achievements |
音楽ライブのライブビューイングにおいて, ビューイング会場で起こった反応をフィードバックすることで,ライブにおける一体感の向上が見込まれており, 観客の反応の代表として拍手, 手拍子を取り出してフィードバックする研究をおこなっている。 本研究の先行研究により, ライブビューイングにおいて配信先会場の観客らの拍手を本会場へフィードバックする拍手音伝送再生システムが開発されている。 この拍手音伝送再生システムの中で, 拍手音の抽出に関して先行研究では, NLMS-アルゴリズムを使った適応フィルタを用いて会場内の音を抽出し, その後拍手検出を行っている。しかし, このパラメタについて十分に検討されておらず, アルゴリズムを再検討することにより、抽出精度を高めることができると考えた。 本研究では、室内音場の特性をNLMS-アルゴリズムによりモデル化し、オフラインで逆フィルタを設計することで、拍手音の抽出精度を上げることを試みた。また,オンラインで実時間に逆フィルタを設計するために,配信先会場で収音した音の高域を強調することを試みた。 過去に収録した、実際のライブ会場における拍手音をもちいることで、抽出実験(シミュレーション)をおこなった。 その結果、十分な信号対雑音比で、拍手音の抽出が行えることがわかった。しかし、リアルタイム動作や安定性については、さらなる調査が必要であることもわかった。
|
Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
コロナ禍により、人が集まる行事を実施することができず、実際のライブ(演奏会)を行う事も、そのライブを伝送し、視聴するビューイング会場を設定することもできなかった。 そのため、本研究のシステムのリアルタイム動作を検証する機会をつくることができなかった。つまり、本研究の主たる目的である、実証実験が行えなかった。 そのため、「やや遅れている」という進捗状況となっている。 ライブを行えなかったため、2021年度,2022年度は、主としてシミュレーションにより、拍手音抽出・検出に関するアルゴリズムの検討を行った。 しかし、ライブが実施できなかったため、過去の先行研究の際に、収録した音源を用いた。 それらの音源については、マイクロホンの設置位置などについて、十分な精度での記録が残っておらず、科学的に十分なデータとはいえないのが残念である。
|
Strategy for Future Research Activity |
現在検討中のアルゴリズムのリアルタイム動作実装を行うとともに、リアルタイム実装を評価するための、実証実験を計画し、実現することを行う。 ライブビューイングの実験には、演者やエンジニア等、多くの人が関わるため、コロナ感染における行動指針などを注視して、計画をすすめたい。 コロナ感染による行動制約が、まだ続くような状況と判断出来た場合は、引き続き、シミュレーションにより、アルゴリズムの検証を行う予定である。 検討したアルゴリズム等は、国際会議などで発表を行いたい。
|
Report
(2 results)
Research Products
(2 results)