| Project/Area Number |
21K00190
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 01070:Theory of art practice-related
|
|---|
| Research Institution | Tokyo National University of Fine Arts and Music |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
|
|---|
| Keywords | 映像 / ＡＩ / コンサート / オペラ / 邦楽 / AI映像同期上映システム / アニメーション / 即興性 / 舞台演出 / AI / 映像同期 / 字幕 / 演奏 / 同期 / 人工知能 |
|---|
| Outline of Research at the Start |
本研究は、音楽コンサートにAIを用いて新しい形で映像を取り入れることを目的とする。これまでにヴィヴァルシ「四季」ライブアニメーションコンサートのために開発してきたＡＩ映像同期上映システムを出発点として、まずオペラの歌唱と同期して字幕の映像を出す方法を開発する。次に弦楽以外への応用として、邦楽の演奏会でのアニメーションの同期上映を研究する。最終年度には、オペラなどのコンサートで複数画面のアニメーションを同期して上映することを目指す。また音楽と映像の時間軸の同期についての知見を深め、音楽の生演奏と同期する形でアニメーションを上映する際のプロトコルとしてまとめて、AI映像同期上映システムに実装する。
|
| Outline of Final Research Achievements |
We have developed AI-based video synchronization system that screens animations in sync with live music performances. In this study, we aimed to broaden the application of this system by attempting to present subtitles in an opera performance. We also attempted to synchronize subtitles in traditional Japanese music concerts. However, due to improvisation in the performance of traditional Japanese music, it turned out to be necessary to train the system using recordings from rehearsals that are as close as possible to the actual performance.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究で用いたAI映像同期上映システムが、器楽曲だけでなく声楽曲にも追従できることが示された。また邦楽が一般的な理解以上に即興性のある演奏形態であり、演奏会に近くなってからのリハーサルを参照音源として使うことが望ましいことが分かった。社会的意義としては、オペラや邦楽の演奏会で字幕が上映されることにより、従来よりも演奏会を身近なものにする効果がある。それにより、演奏会が開かれると同時に、アニメーションや映像の活用の場も広がる。
|
