共感覚のクロスモーダル・メカニズム解明-色聴現象の脳機能計測とメディア表現-

2011 Fiscal Year Annual Research Report

• Project/Area Number: 21300086
• Research Institution: Kwansei Gakuin University
• Principal Investigator: 長田 典子 関西学院大学, 理工学部, 教授 (50368453)
• Co-Investigator(Kenkyū-buntansha): 藤澤 隆史 長崎大学, 医歯薬学総合研究科, 助教 (90434894) ; 井口 征士 宝塚大学, 造形芸術学部, 講師 (90029463) ; 黒田 輝 東海大学, 情報理工学部, 教授 (70205243) ; 饗庭 絵里子 関西学院大学, 理工学部, 理工学部研究員 (40569761) ; 下斗米 貴之 玉川大学, 脳科学研究所, 特別研究員 (50415361)
• Keywords: 感性情報学 / 計測工学 / 脳・神経 / マルチモーダルインタフェース / 共感覚 / 色聴 / fMRI

Research Abstract

共感覚(synesthesia)は、1つの感覚が本来独立であるはずの別の感覚を喚起する興味深い現象として知られている。本研究では共感覚の1つとして知られている色聴(音を聴くと色が見える、colored hearing)現象に着目し、そのメカニズム解明を行う.また共感覚のモデルをメディア表現に適用し,科学的根拠を持った音楽と色彩のインタラクティブアートを実現する.
1.fMRIによる色聴現象の計測:これまでの我々の研究で,色聴保持者10名とコントロール10名の脳活動データを解析し,色聴現象がV4連合領域の賦活と相関することを明らかにした。本年度は色聴現象の強度を定義する目的で,色彩と音楽を呈示し情動の強さを報告する実験を実施した.また前年度に引き続き音楽聴取時の脳活動計測と印象評価を実施し,和声(和音進行)の種類によって左眼窩前頭皮質(BA47)といった情動と関係する脳部位での賦活が見られることを明らかにした.さらに和音進行によって得られる印象は単一和音による印象とは異なることが明らかになるなど,音楽と情動の関係に関する知見を得ることができた.
2.共感覚に基づくメディア表現:音楽と映像のインタラクション(音楽の調性と色の対応(ノンバーバルマップ))のさらなる関係について解析を行い,日本アニメにおけるノンバーバルマップを得た。またこれらが共感覚現象における音と色のマッピングと極めて高い相関を持つことが確認できた.さらに和音から色へのマッピング実験を行い,選択された色データのクラスタ分析によりmajor群とminor群に分類できる事を示した.これはCookらの和音性モデル(モダリティ)の分類に近く,この理論の妥当性を支持している.また回帰分析の結果有意な関係があり,聴覚と視覚が独立ではないこと,またカラーモデルの中ではHSLの値がより色彩感覚の表現に近いことが示唆された.

Research Products

• [Journal Article] 和音進行による情動の知覚:fMRIおよび印象評価によるアプローチ (2012)
  • Author(s): 長田典子, 饗庭絵里子
  • Journal Title: 音楽知覚認知研究 Volume: (accepted)
  • Peer Reviewed
• [Presentation] 色字共感覚の脳内メカニズム解明:日本語文字呈示時におけるfMRI研究 (2012)
  • Author(s): 真崎大・矢山隆三・赤塚諭・下斗米貴之・饗庭絵里子・長田典子
  • Organizer: 日本認知心理学会第10回大会
  • Place of Presentation: 岡山大学(発表確定)
  • Year and Date: 2012-06-02
• [Presentation] 和音進行聴取における脳機能計測および印象評価 (2012)
  • Author(s): 高瀬雅良・饗庭絵里子・田中里弥・藤澤隆史・赤塚諭・下斗米貴之・長田典子
  • Organizer: 日本認知心理学会第10回大会
  • Place of Presentation: 岡山大学(発表確定)
  • Year and Date: 2012-06-02
• [Presentation] 和音の色彩へのマッピングに関する分析 (2012)
  • Author(s): 下斗米貴之・饗庭絵里子・三軒谷友美・長田典子・大森隆司
  • Organizer: 第7回日本感性工学会春季大会
  • Place of Presentation: サンポート・ホール(香川)
  • Year and Date: 2012-03-02
• [Presentation] 色聴共感覚の脳機能イメージング (2011)
  • Author(s): 長田典子
  • Organizer: 日本心理学会ワークショップ「共感覚と共感覚的認知」
  • Place of Presentation: 日本大学
  • Year and Date: 2011-09-06
• [Presentation] Brain activity in grapheme-color synesthetes : when seeing japanese letters : an fMRI study (2011)
  • Author(s): Mazaki, H., Nishimoto, M., Akatsuka, S., Yayama, R., Shimotomai, T., Aiba, E., Nagata, N.
  • Organizer: 16th Annual Meeting of the Organization for Human Brain Mapping (OHBM2011)
  • Place of Presentation: Quebec City, Canada
  • Year and Date: 2011-06-27
• [Presentation] Brain Activity in the Color Area When Listening to Music : An fMRI Study of Synesthesia (2011)
  • Author(s): Yayama, R., Shimotomai, T., Takahashi, R., Akatsuka, S., Aiba, E., Fujisawa, T.X., Nagata, N.
  • Organizer: 16th Annual Meeting of the Organization for Human Brain Mapping (OHBM2011)
  • Place of Presentation: Quebec City, Canada
  • Year and Date: 2011-06-27
• [Presentation] Synesthetic cross-modal sound-color mapping (2011)
  • Author(s): Wang, J., Cai, D., Asai, N., Nagata, N., & Fukumoto, A.
  • Organizer: The 15th annual meeting of the The Association for the Scientific Study of Consciousness
  • Place of Presentation: Kyoto, Japan
  • Year and Date: 2011-06-09
• [Presentation] Synesthetic Sound-Color Cross-Modality in Animations (2011)
  • Author(s): Cai, D., Goto, S., Wang, J.P., Asai, N., Nagata, N., Fukumoto, A., Kurumizawa, J.
  • Organizer: Eurographics 2011
  • Place of Presentation: Llandudno, UK
  • Year and Date: 2011-04-15
• [Book] 「なぜ音や文字に色が見えるのか」ケータイ版イミダス (2012)
  • Author(s): 長田典子
  • Publisher: 集英社