感情や技術点などの高次の情報が付与された、新たなダンスの大規模データセットを構築した。加えて、これまで難しかったダンス動画からの感覚情報及びそれらを統合した情報の自動的抽出を、大量のダンス動画を用いて訓練された深層生成モデルを用いることによって解決した。それらを用いて、ダンス視聴中のヒト脳活動で処理されている多様な情報処理の詳細を明らかにした。 並行して、深層生成モデルを用いた、多様な情報を柔軟に統合して人の認知体験を再構成するための基礎技術開発も行なった。本研究は世界中60以上のメディアによって報道された。
|