Exploring Live Animation Concerts using the AI-based animation synchronization system
| Project/Area Number |
21K00190
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 01070:Theory of art practice-related
|
|---|
| Research Institution | Tokyo National University of Fine Arts and Music |
|---|
Principal Investigator |
桐山 孝司 東京藝術大学, 大学院映像研究科, 教授 (10234402)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | AI / 映像同期 / オペラ / 邦楽 / 映像 / 字幕 / 演奏 / 同期 / 人工知能 / アニメーション / ＡＩ |
|---|
| Outline of Research at the Start |
本研究は、音楽コンサートにAIを用いて新しい形で映像を取り入れることを目的とする。これまでにヴィヴァルシ「四季」ライブアニメーションコンサートのために開発してきたＡＩ映像同期上映システムを出発点として、まずオペラの歌唱と同期して字幕の映像を出す方法を開発する。次に弦楽以外への応用として、邦楽の演奏会でのアニメーションの同期上映を研究する。最終年度には、オペラなどのコンサートで複数画面のアニメーションを同期して上映することを目指す。また音楽と映像の時間軸の同期についての知見を深め、音楽の生演奏と同期する形でアニメーションを上映する際のプロトコルとしてまとめて、AI映像同期上映システムに実装する。
|
| Outline of Annual Research Achievements |
本研究で用いるAI映像同期上映システムは、音楽の生演奏と同期してアニメーションを再生するものである。技術的には、学習済みモデルをもとに演奏中の箇所をリアルタイムで推定するヤマハの音楽AI技術と、人間の介入を許しながら映像の速度調整を行う技術を接続して実現している。2018年にヤマハと東京藝術大学が共同開発を開始した当初より、このシステムはヴィヴァルディのヴァイオリン協奏曲「四季」の生演奏にアニメーションを同期して上映することに活用してきた。そのためこのシステムが、オペラなど器楽以外の曲や、さらには西洋音楽以外のジャンルにどこまで適合できるか未知であった。
本研究課題では2021年度（初年度）に、ピアノ伴奏で演奏するオペラの曲にアニメーションを追従させることを試みた。音楽AIが歌唱に追従できることを検証した上で、2022年1月にオペラ「椿姫」のハイライトを字幕を含む映像で演出し、実際のコンサートの場面でオペラの字幕が同期して再生できることを示した。
そして2022年度には、邦楽の演奏と同期して字幕を上映することを試みた。邦楽曲としては、唄、三味線、囃子で演奏される長唄の新曲を選んだ。準備段階で演奏を2テイク録音し、テイク1を学習用の参照音源、テイク2を検証用音源として、学習済みAIが検証用音源にほぼ追従できるとの感触を得た。その上で2022年7月に東京藝術大学奏楽堂にて行われた演奏会「和楽の美」で、この曲の字幕の上映を試みた。結果としては、本番では準備段階よりも追従が難しいとの結果になった。この曲は、囃子のリズムが指定されているものの、細部は演奏者の即興に委ねられており、準備段階で学習させた音源と本番の演奏には異なる点があった。このことから、即興性のある音楽に追従させるためには、本番の演奏に近い音源を学習させる必要が明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究の当初からの計画として、2021年度（初年度）は、オペラの歌唱と同期して字幕を提示する方法を開発することとを想定していた。これについては昨年度、予定通り達成された。2022年度（第二年度）にはこのシステムが適応する音楽の形式を広げるため、邦楽曲にアニメーションを同期して投影する方法を確立することを想定していた。この計画も予定通り達成されたが、それと同時に、邦楽の新曲のように即興性のある演奏には本番直前のリハーサルでの録音をもとにAIシステムに学習させることが望ましいことが明らかになった。当初の予定を遂行しつつ、新たな課題を明らかにしたことで、本研究は計画以上に進んでいると考える。
|
| Strategy for Future Research Activity |
2022年度の研究の結果、AI映像同期上映システムが邦楽の新曲に代表される即興性のある演奏に追従するためには、できるだけ本番に近い演奏を学習用音源として使う必要があるとの仮説を得た。コンサートでは通例、本番直前にゲネプロと呼ばれる最終リハーサルが行われる。ゲネプロは表現上も音響上も最も本番の演奏に近く、これを学習用音源として活用できれば、即興性の高い音楽であっても追従の精度が高くなると予想される。ただゲネプロと本番とは長くて一日、場合により数時間の間隔しかなく、前後の処理を含めていかに機械学習を効率的に行えるかが課題となる。2023年度（最終年度）にはこの課題を含めて検証を行なっていく予定である。
|
Report
(2 results)
Research Products
(2 results)
