研究課題
基盤研究(C)
我々は、音楽の生演奏に追従してアニメーションを上映するＡＩ映像同期上映システムを開発し、演奏会で活用してきた。本研究ではこのシステムの適用範囲を広げることを目的として、オペラに字幕を投影することを試みた。その結果、字幕とアニメーションで効果的に演出ができることを示した。一方、邦楽の演奏会でも字幕やアニメーションを同期させることを試みたが、邦楽の場合は即興性が高く、できるだけ演奏本番に近いゲネプロなどの録音を学習させて追従に使う必要があることが分かった。
映像メディア学
本研究で用いたAI映像同期上映システムが、器楽曲だけでなく声楽曲にも追従できることが示された。また邦楽が一般的な理解以上に即興性のある演奏形態であり、演奏会に近くなってからのリハーサルを参照音源として使うことが望ましいことが分かった。社会的意義としては、オペラや邦楽の演奏会で字幕が上映されることにより、従来よりも演奏会を身近なものにする効果がある。それにより、演奏会が開かれると同時に、アニメーションや映像の活用の場も広がる。
