2007 Fiscal Year Annual Research Report
共感覚のメカニズム解明とメディアコンテンツ制作への応用
| Project/Area Number |
19500182
|
|---|
| Research Institution | Kwansei Gakuin University |
|---|
Principal Investigator |
長田 典子 Kwansei Gakuin University, 理工学部, 教授 (50368453)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
井口 征士 宝塚造形芸術大学, メディア・コンテンツ学部, 教授 (90029463)
藤澤 隆史 関西学院大学, 理工学研究科, 博士研究員 (90434894)
|
|---|
| Keywords | 感性情報学 / 計測工学 / 脳・神経 / マルチモーダルインタフェース / 共感覚 / 色聴 / fMRI |
|---|
| Research Abstract |
「音を聴くと,色が見える」という現象は「色聴(colored hearing)」と呼ばれており,心理学の分野で共感覚(synesthesia)の1つ,すなわち1つの感覚が本来独立であるはずの別の感覚を喚起する非常に興味深い現象として知られている.本研究では,色聴現象を客観的に計測するとともに,色聴のない一般人に対しても色聴を利用して調和の取れた映像音薬コンテンツを提供することとを目的に,以下の課題を実施した.
1.fMRIによる色聴現象の計測
色聴保持者の音楽聴取時におげる脳内活動をfMRIによって計測し,V4連合領域における色聴保持者固有の脳賦活部位の存在を確認するとともに,小脳と紡錘状回の同期的賦活,すなわち小脳と紡錘状画におけるcross-wiring仮説を示唆する賦活パターンを発見した.これは色聴現象を神経科学的に示す証拠となるとともに,聴覚と視覚のクロスモダリティを解明する1つの手がかりになると考えられる.さらに人間の音楽と色の結びうきを示す1つの証拠となり,音楽教育やコシテンツ制作において考慮すべき知見になると思われる.
2.メディアコンテンツにおける映像と音楽の関係の解析
音楽と映像を用いたメディアコンテンツの典型例としてテレビCMにおける映像と音楽の関係を解析したところ,映像と音楽が主に「激しい-落ち著いた」と「日常的-高級感」の軸に則った規則性を持っていることが明らかとなった.また音楽要素におけるリズム・テンポ・調性のそれぞれが映像要素の色のカテゴリに及ぼす影響について分析を行い,これら3つが同程度の累積寄与率を持つ,すなおち同程度に色への影響を持つことがわかった.とりわけ調性について,シャープ系の調性(G,D,Aなど)がシックな色の映像に用いられ,フラット系の調性(F,Bb,Ebなど)が鮮やかな色の映像に用いられる傾向があることが確認された.これらの分析結果はマルチメディア作品の創作支援システムや評価ツールペ応用展開することが考えられる.
|
