2009 Fiscal Year Annual Research Report
共感覚のクロスモーダル・メカニズム解明-色聴現象の脳機能計測とメディア表現-
| Project/Area Number |
21300086
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
長田 典子 Kwansei Gakuin University, 理工学部, 教授 (50368453)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤澤 隆史 長崎大学, 医歯薬学総合研究科, 助教 (90434894)
井口 征士 宝塚造形芸術大学, メディア・コンテンツ学部, 教授 (90029463)
黒田 輝 東海大学, 情報理工学部, 准教授 (70205243)
饗庭 絵里子 関西学院大学, 理工学研究科, 博士研究員 (40569761)
|
|---|
| Keywords | 感性情報学 / 計測工学 / 脳・神経 / マルチモーダルインタフェース / 共感覚 / 色聴 / fMRI |
|---|
| Research Abstract |
共感覚(synesthesia)は、1つの感覚が本来独立であるはずの別の感覚を喚起する非常に興味深い現象として知られている.本研究では共感覚の1つとして知られている色聴(音を聴くと色が見える、colored hearing)現象に着目し、そのメカニズム解明を行う.またメディアへの応用として,色聴のない一般人に対しても色聴を利用して調和の取れた映像音楽コンテンツを提供する.
1.fMRIによる色聴現象の計測
これまでの我々の研究で,色聴保持者の音楽聴取時における脳内活動をfMRIによって計測し,V4連合領域における色聴保持者固有の脳賦活部位が存在することが明らかになっていた.本年度は集団解析を行い,色聴保持者10名とコントロール10名の脳活動データを解析し,V4連合領域の賦活を確認した.共感覚の出現頻度は1000人に1人といわれており,これまで集団解析は難しいとされてきたが,本成果により色聴共感覚に関する統計的に有意な知見が得られたと言える.
2.共感覚に基づくメディア表現
音楽と映像のインタラクションに関して調査を行い,音楽の調性と色の対応(ノンバーバルマップ)を得た.これに基づいて,いくつかの音楽映像コンテンツを作成した.その1つは夜光虫をモチーフとした光と音のインタラクションであり,流体シミュレーションにより流れを作り,レンジファインダーにより物体との干渉計算をし,干渉部分が夜光虫のように光るというものである.このコンテンツにおいて調性と色のノンバーバルマップを用いることで,視覚と聴覚の調和のとれたコンテンツが作成できることを示した。
|
