| 研究課題/領域番号 |
21K00190
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分01070:芸術実践論関連
|
|---|
| 研究機関 | 東京藝術大学 |
|---|
研究代表者 |
桐山 孝司 東京藝術大学, 大学院映像研究科, 教授 (10234402)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
4,030千円 (直接経費: 3,100千円、間接経費: 930千円)
2023年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2022年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
2021年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
|
|---|
| キーワード | 映像 / ＡＩ / コンサート / オペラ / 邦楽 / AI映像同期上映システム / アニメーション / 即興性 / 舞台演出 / AI / 映像同期 / 字幕 / 演奏 / 同期 / 人工知能 |
|---|
| 研究開始時の研究の概要 |
本研究は、音楽コンサートにAIを用いて新しい形で映像を取り入れることを目的とする。これまでにヴィヴァルシ「四季」ライブアニメーションコンサートのために開発してきたＡＩ映像同期上映システムを出発点として、まずオペラの歌唱と同期して字幕の映像を出す方法を開発する。次に弦楽以外への応用として、邦楽の演奏会でのアニメーションの同期上映を研究する。最終年度には、オペラなどのコンサートで複数画面のアニメーションを同期して上映することを目指す。また音楽と映像の時間軸の同期についての知見を深め、音楽の生演奏と同期する形でアニメーションを上映する際のプロトコルとしてまとめて、AI映像同期上映システムに実装する。
|
| 研究成果の概要 |
我々は、音楽の生演奏に追従してアニメーションを上映するＡＩ映像同期上映システムを開発し、演奏会で活用してきた。本研究ではこのシステムの適用範囲を広げることを目的として、オペラに字幕を投影することを試みた。その結果、字幕とアニメーションで効果的に演出ができることを示した。一方、邦楽の演奏会でも字幕やアニメーションを同期させることを試みたが、邦楽の場合は即興性が高く、できるだけ演奏本番に近いゲネプロなどの録音を学習させて追従に使う必要があることが分かった。
|
| 研究成果の学術的意義や社会的意義 |
本研究で用いたAI映像同期上映システムが、器楽曲だけでなく声楽曲にも追従できることが示された。また邦楽が一般的な理解以上に即興性のある演奏形態であり、演奏会に近くなってからのリハーサルを参照音源として使うことが望ましいことが分かった。社会的意義としては、オペラや邦楽の演奏会で字幕が上映されることにより、従来よりも演奏会を身近なものにする効果がある。それにより、演奏会が開かれると同時に、アニメーションや映像の活用の場も広がる。
|
