2022 Fiscal Year Research-status Report
Exploring Live Animation Concerts using the AI-based animation synchronization system
| Project/Area Number |
21K00190
|
|---|
| Research Institution | Tokyo National University of Fine Arts and Music |
|---|
Principal Investigator |
桐山 孝司 東京藝術大学, 大学院映像研究科, 教授 (10234402)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | AI / 映像同期 / オペラ / 邦楽 |
|---|
| Outline of Annual Research Achievements |
本研究で用いるAI映像同期上映システムは、音楽の生演奏と同期してアニメーションを再生するものである。技術的には、学習済みモデルをもとに演奏中の箇所をリアルタイムで推定するヤマハの音楽AI技術と、人間の介入を許しながら映像の速度調整を行う技術を接続して実現している。2018年にヤマハと東京藝術大学が共同開発を開始した当初より、このシステムはヴィヴァルディのヴァイオリン協奏曲「四季」の生演奏にアニメーションを同期して上映することに活用してきた。そのためこのシステムが、オペラなど器楽以外の曲や、さらには西洋音楽以外のジャンルにどこまで適合できるか未知であった。
本研究課題では2021年度（初年度）に、ピアノ伴奏で演奏するオペラの曲にアニメーションを追従させることを試みた。音楽AIが歌唱に追従できることを検証した上で、2022年1月にオペラ「椿姫」のハイライトを字幕を含む映像で演出し、実際のコンサートの場面でオペラの字幕が同期して再生できることを示した。
そして2022年度には、邦楽の演奏と同期して字幕を上映することを試みた。邦楽曲としては、唄、三味線、囃子で演奏される長唄の新曲を選んだ。準備段階で演奏を2テイク録音し、テイク1を学習用の参照音源、テイク2を検証用音源として、学習済みAIが検証用音源にほぼ追従できるとの感触を得た。その上で2022年7月に東京藝術大学奏楽堂にて行われた演奏会「和楽の美」で、この曲の字幕の上映を試みた。結果としては、本番では準備段階よりも追従が難しいとの結果になった。この曲は、囃子のリズムが指定されているものの、細部は演奏者の即興に委ねられており、準備段階で学習させた音源と本番の演奏には異なる点があった。このことから、即興性のある音楽に追従させるためには、本番の演奏に近い音源を学習させる必要が明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究の当初からの計画として、2021年度（初年度）は、オペラの歌唱と同期して字幕を提示する方法を開発することとを想定していた。これについては昨年度、予定通り達成された。2022年度（第二年度）にはこのシステムが適応する音楽の形式を広げるため、邦楽曲にアニメーションを同期して投影する方法を確立することを想定していた。この計画も予定通り達成されたが、それと同時に、邦楽の新曲のように即興性のある演奏には本番直前のリハーサルでの録音をもとにAIシステムに学習させることが望ましいことが明らかになった。当初の予定を遂行しつつ、新たな課題を明らかにしたことで、本研究は計画以上に進んでいると考える。
|
| Strategy for Future Research Activity |
2022年度の研究の結果、AI映像同期上映システムが邦楽の新曲に代表される即興性のある演奏に追従するためには、できるだけ本番に近い演奏を学習用音源として使う必要があるとの仮説を得た。コンサートでは通例、本番直前にゲネプロと呼ばれる最終リハーサルが行われる。ゲネプロは表現上も音響上も最も本番の演奏に近く、これを学習用音源として活用できれば、即興性の高い音楽であっても追従の精度が高くなると予想される。ただゲネプロと本番とは長くて一日、場合により数時間の間隔しかなく、前後の処理を含めていかに機械学習を効率的に行えるかが課題となる。2023年度（最終年度）にはこの課題を含めて検証を行なっていく予定である。
|
| Causes of Carryover |
人件費が見込額を若干下回ったため翌年度に繰越をする。来年度は録音のための謝金に充てる予定である。
|
