2021 Fiscal Year Research-status Report
Exploring Live Animation Concerts using the AI-based animation synchronization system
| Project/Area Number |
21K00190
|
|---|
| Research Institution | Tokyo National University of Fine Arts and Music |
|---|
Principal Investigator |
桐山 孝司 東京藝術大学, 大学院映像研究科, 教授 (10234402)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 映像 / 字幕 / 演奏 / 同期 / 人工知能 |
|---|
| Outline of Annual Research Achievements |
2021年度は本研究で設定した課題１と課題３を実施した。課題１のオペラの歌唱と同期して字幕を提示することに関して、オペラ字幕のAI同期を伴ったコンサートを開催した。2022年1月のコンサート本番に先立ち、2021年8月に本番と同じ歌手とピアノ伴奏者に、本番と同じコンサートホールに集まってもらい、録音を行った。曲は「椿姫」からハイライトとなる6曲を選び、ソプラノとアルトの歌唱とピアノ伴奏で録音し、これをＡＩのための参照音源とした。それと生演奏の入力音源を比較して、音楽ＡＩシステムが正しく現在の演奏箇所を認識できるように調整した。そしてオペラの字幕を画面に表示するのに適切な長さのフレーズに分割し、現在演奏中の箇所にあわせて字幕の映像を出すようにした。字幕の映像は文字が並んでいるだけでなく、各フレーズごとに曲の印象に合わせて異なる出し方をした。
課題３のオペラなどのコンサートで複数画面のアニメーションや字幕を同期することに関しては、まず複数画面に対応する前に、単一画面の中で背景と全景の字幕が一緒になっている映像を作り、これを同期上映することとした。字幕は音楽コンサートの構成作家である東京藝術大学の新井鴎子特任教授の指導を受け、実際のコンサートで用いるものとしても自然でかつ単調でない出し方にした。また背景の映像も舞台演出のための映像として効果を上げるようにした。このコンサートにＡＩ映像期上映システムを適用するため、フェルマータで止まっている間はＡＩが勝手に先に進まないように改変を加えた。これにより課題４の汎用プロトコルの拡張も進めることができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では、音楽のコンサートに新しい形で映像を取り入れることを目的とし、4つの課題を設定した。課題１：ＡＩ映像同期上映システムが適応する音の種類を広げるため、オペラの歌唱と同期して字幕を提示する方法を開発する。課題２：このシステムが適応する音楽の形式を広げるため、邦楽曲にアニメーションを同期して投影する方法を確立する。課題３：総合的なコンサートを目指して、オペラなどのコンサートで複数画面のアニメーションや字幕を同期させる。課題４：音楽と映像の同期について知見を深め、汎用的なプロトコルとしてＡＩ映像同期上映システムに実装する。
2021年度には課題１を行う予定であったが、実際にはオペラの字幕同期上映の中で課題３も行うことができた。具体的には、2022年1月10日にハーモニーホールふくい（福井市）で、オペラ字幕のAI同期を伴ったコンサートを開催した。主催者である福井県文化振興事業団の全面的な協力を得て入念な準備を行うことができ、コンサート本番では生演奏と映像が安定して同期する様子を約800名の一般来場者に披露することができた。同じコンサートの第２部では、同じAI映像同期上映システムを使ったヴィヴァルディ「四季」から「春」と「秋」のアニメーションつきの演奏も行った。「椿姫」では、一つ一つの字幕映像のクリップが出ている時間は比較的短い。そのためクリップを開始するタイミングは重要であるが、一旦開始すればあとは同じスピードで再生することになる。それに対して「四季」では曲を通して一本のアニメーションが上映されるので、タイミングとともに生演奏に合わせたアニメーションの再生速度の制御が必要である。コンサートの来場者には、椿姫の字幕と四季の上映とでこのような違いがあることを説明した上で、それぞれの演奏を行った。
|
| Strategy for Future Research Activity |
2021年度は課題１と課題３が成功し、課題４も着手できた。2022年度には次のステップとして課題２〜４を深める予定である。そのための実施の場として「和楽の美」で映像と字幕の同期を実現する。「和楽の美」は東京藝術大学奏楽堂で行なわれる邦楽のコンサートで、学内であるため実験場所として融通が効く。このコンサートでは新曲を披露するため、作曲ができた段階で録音し、演奏方法のバリエーションも含めてＡＩが追従できるかをテストする。また唄の歌詞と背景の映像を曲に同期させて上映するが、オペラ「椿姫」のときと異なり、今回は映像と字幕を別々のスクリーンで出す予定である。それにより舞台演出の幅が広がり、課題３にも対応できることになる。すでに作曲の終わった新曲について録音を行う予定も決まっており、順調にいけばその後ＡＩに学習させて、演奏方法のバリエーションがあるものと比較しながら追従できるかを調べていく。
また西洋音楽よりもテンポに自由度のある邦楽を対象とすることで、課題４の汎用プロトコルの研究を進める。このプロトコルは音楽ＡＩから映像上映システムへの一方通行だけでなく、操作者が必要に応じて映像の速度調整や頭出しができるように、映像上映システムから音楽ＡＩへの制御も含む双方向のプロトコルとなる。邦楽での映像同期上映に対応できるようにすることで、プロトコルの汎用化を推進できると考える。さらにこの「和楽の美」は2022年度に前半、2023年度に後半を行うことになっており、2022年度の成果として汎用プロトコルを定めることで、2023年度に改めて検証することができる。
|
| Causes of Carryover |
2021年度は、オペラ「椿姫」のコンサートでＡＩ映像同期上映を実演するため、直接経費600,000円の使用を想定していた。しかしこのコンサートを主催した福井県文化振興事業団が文化庁からの助成金を得てコンサートにかかる諸費用を賄えることになったため、科学研究費からの支出の必要がなくなった。そのためこの直接経費を2022年度に繰り越し、「和楽の美」でのＡＩ映像同期上映のための人件費に充てることとした。
|
Research Products
(1 results)
