2010 Fiscal Year Annual Research Report
共感覚のクロスモーダル・メカニズム解明-色聴現象の脳機能計測とメディア表現-
| Project/Area Number |
21300086
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
長田 典子 関西学院大学, 理工学部, 教授 (50368453)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤澤 隆史 長崎大学, 医歯薬学総合研究科, 助教 (90434894)
井口 征士 宝塚大学, 造形芸術学部, 教授 (90029463)
黒田 輝 東海大学, 情報理工学部, 教授 (70205243)
饗庭 絵里子 関西学院大学, 理工学研究科, 博士研究員 (40569761)
下斗米 貴之 玉川大学, 脳科学研究所, 特別研究員 (50415361)
|
|---|
| Keywords | 感性情報学 / 計測工学 / 脳・神経 / マルチモーダルインタフェース / 共感覚 / 色聴 / fMRI |
|---|
| Research Abstract |
共感覚(synesthesia)は、1つの感覚が本来独立であるはずの別の感覚を喚起する興味深い現象として知られている.本研究では共感覚の1つとして知られている色聴(音を聴くと色が見える、colored hearing)現象に着目し、そのメカニズム解明を行う.また共感覚のモデルをメディア表現に適用し,科学的根拠を持った音楽と色彩のインタラクティブアートを実現する.
1. fMRIによる色聴現象の計測:これまでの我々の研究で,色聴保持者の音楽聴取時における脳内活動をfMRIによって計測し,V4連合領域における色聴保持者固有の脳賦活部位が存在することが明らかになっていた.本年度は前年度の集団解析をさらに進め,色聴保持者10名とコントロール10名の脳活動データを解析し,V4連合領域の賦活と色聴の強さの相関や情動との関係性について検討した.また音楽聴取時の脳活動を計測し,音楽により喚起される情動に関わる脳活動部位を解析することによって,音楽と情動との関係に関する知見を得ることができた.
2. 共感覚に基づくメディア表現:前年度に得られた音楽と映像のインタラクション(音楽の調性と色の対応(ノンバーバルマップ))に基づいて,ジュエリーをモチーフとした音楽とビジュアルから構成されるインスタレーション/パフォーマンス作品を作成し上演した.また音楽映像インタラクション作品の代表作であるディズニー映画ファンタジアにおけるノンバーバルマップを得た.これらの研究により,音楽と映像が強く相関することを実証することができた.
|
