Remote Chorus System and Its Post-Pandemic Evolution into a Super Chorus System and Database Release

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K11956
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: The University of Electro-Communications
• Principal Investigator: TAKAHASHI Kota 電気通信大学, 大学院情報理工学研究科, 准教授 (10188005)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: リモート合唱 / 時間周波数平面

Outline of Final Research Achievements

Amid the coronavirus pandemic, the need for remote chorus has increased, but it has been difficult to create choral works comparable to on-stage chorus using remote chorus. We have developed a signal processing technology that quantitatively and statistically analyzes singers' problems and generates works that are comparable to on-stage chorus even in remote chorus. We have also developed a technological foundation to realize super choruses that exceed the above. At the same time, for researchers working on technology for mixing choral works, we constructed a choral audio database, SIS-DB, separated by singer, and released it on the Internet for free access.

Free Research Field

信号処理工学

Academic Significance and Societal Importance of the Research Achievements

学術的意義としては，第一に，リモート合唱における時間ずれが，システム由来の時間ずれと，歌唱者由来の時間にずれに分解して解析できることを示し，さらに，歌唱者由来のずれは，混合ガウス型分布でモデル化できることを示したことである．第二に，周波数方向に個別の高調波成分を移動させる技術を開発したことである．第三に，時間周波数平面の局所領域でのエントロピーを指標にすることで歌唱者間の混合の調和を評価することが可能であることを示したことである．社会的意義としては，リモート合唱を支える技術を今のうちに進歩させておくことで，この次に来るかもしれないパンデミックに備えることができるという点をあげることができる．