Exploring Live Animation Concerts using the AI-based animation synchronization system

2023 Fiscal Year Annual Research Report

• Project/Area Number: 21K00190
• Research Institution: Tokyo National University of Fine Arts and Music
• Principal Investigator: 桐山 孝司 東京藝術大学, 大学院映像研究科, 教授 (10234402)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: AI映像同期上映システム / アニメーション / 即興性 / 舞台演出

Outline of Annual Research Achievements

本年度は、即興性のある音楽に対して映像や字幕を同期させるための調査研究を行った。具体的には、16世紀にヨーロッパで発祥したコメディア・デラルテを現代的にアレンジした喜劇で、イタリアの作曲家ヴェッキの音楽に映像と字幕を同期させることを試行した。今回は練習を重ねながら舞台を作り上げていくスタイルであり、演奏も直前まで変わることがあった。そのため本番では手動で演奏に映像を同期をさせたが、並行してリハーサル、当日のゲネプロ、本番の3種類の音源を録音した。3つの音源の比較から、リハーサルの音源を学習させ、ゲネプロで修正することで、本番での同期が行えるとの確証が得られた。この調査に基づいて、今後リハーサル音源からの学習を進めることとした。

また、5月にチェコのリベレツで開催されたアニメーションフェスティバルのANIFILMにおいて、オープニングセレモニーの一部として、AI映像同期上映システムを用いてヴィヴァルディ「四季」のアニメーションを生演奏と同期して上映した。一般に海外の劇場ではスタッフの違いから、国内と同じ技術的な状況を想定できないことがある。今回のANIFILMでは、舞台脇に設置された操作卓のモニター越しに演奏者を見て同期システムをコントロールする形になった。AI映像同期上映システムの性質から無音では同期ができないため、曲の開始のタイミングでシステムに映像再生開始のキューを手動で与えなければならない。そのため演奏者の動きが視認できることは必須であるが、操作者が一人だけであってもモニター越しに演奏者を見てシステムを運用できることを実証した。