研究課題
特別研究員奨励費
現実空間を仮想空間上に再現するデジタルツイン構想では，聴覚情報である音についての考慮がなされていない．本研究では，視聴覚情報を融合した仮想空間の構築に加え，言語による操作性の向上を行う．まず，全方位の視聴覚情報が含まれる360度映像を用いることで，視聴覚間の対応を学習したAIを構築する．そして，学習した情報に基づき，仮想空間における音の立体感の再構築を行う．また，大規模言語モデルの知識と視聴覚情報の対応を学習することで，言語による視聴覚情報の操作を可能とする．以上により，視聴覚・言語を融合した仮想空間の構築を行う．
