Exploring Live Animation Concerts using the AI-based animation synchronization system

2023 Fiscal Year Final Research Report

• Project/Area Number: 21K00190
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 01070:Theory of art practice-related
• Research Institution: Tokyo National University of Fine Arts and Music
• Principal Investigator: Kiriyama Takashi 東京藝術大学, 大学院映像研究科, 教授 (10234402)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 映像 / ＡＩ / コンサート / オペラ / 邦楽

Outline of Final Research Achievements

We have developed AI-based video synchronization system that screens animations in sync with live music performances. In this study, we aimed to broaden the application of this system by attempting to present subtitles in an opera performance. We also attempted to synchronize subtitles in traditional Japanese music concerts. However, due to improvisation in the performance of traditional Japanese music, it turned out to be necessary to train the system using recordings from rehearsals that are as close as possible to the actual performance.

Free Research Field

映像メディア学

Academic Significance and Societal Importance of the Research Achievements

本研究で用いたAI映像同期上映システムが、器楽曲だけでなく声楽曲にも追従できることが示された。また邦楽が一般的な理解以上に即興性のある演奏形態であり、演奏会に近くなってからのリハーサルを参照音源として使うことが望ましいことが分かった。社会的意義としては、オペラや邦楽の演奏会で字幕が上映されることにより、従来よりも演奏会を身近なものにする効果がある。それにより、演奏会が開かれると同時に、アニメーションや映像の活用の場も広がる。