共感覚のクロスモーダル・メカニズム解明-色聴現象の脳機能計測とメディア表現-

2011 年度 研究成果報告書

• 研究課題/領域番号: 21300086
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 感性情報学・ソフトコンピューティング
• 研究機関: 関西学院大学
• 研究代表者: 長田 典子 関西学院大学, 理工学部, 教授 (50368453)
• 研究分担者: 藤澤 隆史 長崎大学, 医歯薬学総合研究科, 助教 (90434894) ; 井口 征士 宝塚大学, 造形芸術学部, 講師 (90029463) ; 黒田 輝 東海大学, 情報理工学部, 教授 (70205243) ; 饗庭 絵里子 関西学院大学, 理工学部, 研究員 (40569761) ; 下斗米 貴之 玉川大学, 脳科学研究所, 特別研究員 (50415361)
• 研究期間 (年度): 2009 – 2011
• キーワード: 感性情報処理 / 計測工学 / 脳 / 神経 / マルチモーダルインタフェース / 共感覚 / 色聴 / fMRI

研究概要

共感覚(synesthesia)は、1つの感覚が本来独立であるはずの別の感覚を喚起する興味深い現象として知られている.本研究では共感覚の一種である色聴(音を聴くと色が見える、colored hearing)現象に着目し、脳機能イメージング技術により,メカニズム解明を行った.また共感覚現象をメディア表現に適用し,科学的根拠を持った音楽と色彩のインタラクティブアートを実現した.研究成果をテレビや新聞報道などで周知し,社会における共感覚に対する理解を深めた.

研究成果

• [雑誌論文] 和音進行による情動の知覚: fMRIおよび印象評価によるアプローチ (2012)
  • 著者名/発表者名: 饗庭絵里子・田中里弥・藤澤隆史・赤塚諭・下斗米貴之・長田典子
  • 雑誌名: 音楽知覚認知研究
  • 査読あり
• [雑誌論文] 音を聴くと色が見える:共感覚のクロスモダリティ (2010)
  • 著者名/発表者名: 長田典子
  • 雑誌名: 日本色彩学会誌 巻: 34(4) ページ: 348-353
• [雑誌論文] メディア分野における多次元センシング技術の現状と動向 (2010)
  • 著者名/発表者名: 長田典子・大城英裕・加藤邦人・輿水大和・佐川立昌・藤原孝幸, 他
  • 雑誌名: 電気学会論文誌D 巻: 131(4) ページ: 433-440
  • 査読あり
• [雑誌論文] 共感覚の脳機能イメージング (2009)
  • 著者名/発表者名: 長田典子・藤澤隆史
  • 雑誌名: システム制御情報学会誌 巻: 53(4) ページ: 149-154
• [雑誌論文] Virtual Noctiluca : Interaction between Light and Water using Real-time Fluid Simulation and 3D Motion Measurement (2009)
  • 著者名/発表者名: Aida, K., & Nagata, N.
  • 雑誌名: ICEC2009, Lecture Notes in Computer Science 巻: 5709 ページ: 157-166
  • 査読あり
• [雑誌論文] Dance Motion Control of a Humanoid Robot Based on Real-Time Tempo Tracking from Musical Audio Signals (2009)
  • 著者名/発表者名: Nakahara, N., Miyazaki, K., Sakamoto, H., Fujisawa, T. X., Nagata, N., & Nakatsu, R.
  • 雑誌名: ICEC2009, Lecture Notes in Computer Science 巻: 5709 ページ: 36-47
  • 査読あり
• [学会発表] 色字共感覚の脳内メカニズム解明:日本語文字呈示時におけるfMRI研究 (2012)
  • 著者名/発表者名: 真崎大・矢山隆三・赤塚諭・下斗米貴之・饗庭絵里子・長田典子
  • 学会等名: 日本認知心理学会第10回大会
  • 発表場所: 岡山大学
  • 年月日: 2012-06-02
• [学会発表] 和音の色彩へのマッピングに関する分析 (2012)
  • 著者名/発表者名: 下斗米貴之・饗庭絵里子・三軒谷友美・長田典子・大森隆司
  • 学会等名: 第7回日本感性工学会春季大会
  • 発表場所: サンポート・ホール(香川)
  • 年月日: 2012-03-02
• [学会発表] 色聴共感覚の脳機能イメージング (2011)
  • 著者名/発表者名: 長田典子
  • 学会等名: 日本心理学会ワークショップ「共感覚と共感覚的認知」
  • 発表場所: 日本大学
  • 年月日: 2011-09-06
• [学会発表] Brain activity in grapheme-color synesthetes : when seeing japanese letters : an fMRI study (2011)
  • 著者名/発表者名: Mazaki, H., Nishimoto, M., Akatsuka, S., Yayama, R., Shimotomai, T., Aiba, E., & Nagata, N.
  • 学会等名: 16th Annual Meeting of the Organization for Human Brain Mapping(OHBM2011)
  • 発表場所: Quebec City, Canada
  • 年月日: 2011-06-27
• [学会発表] Brain Activity in the Color Area When Listening to Music : An fMRI Study of Synesthesia (2011)
  • 著者名/発表者名: Yayama, R., Shimotomai, T., Takahashi, R., Akatsuka, S., Aiba, E., Fujisawa, T. X., & Nagata, N.
  • 学会等名: 16th Annual Meeting of the Organization for Human Brain Mapping(OHBM2011)
  • 発表場所: Quebec City, Canada
  • 年月日: 2011-06-27
• [学会発表] Synesthetic cross-modal sound-color mapping (2011)
  • 著者名/発表者名: Wang, J., Cai, D., Asai, N., Nagata, N., & Fukumoto, A.
  • 学会等名: The 15th annual meeting of the The Association for the Scientific Study of Consciousness
  • 発表場所: Kyoto, Japan
  • 年月日: 2011-06-09
• [学会発表] Synesthetic Sound-Color Cross-Modality in Animations (2011)
  • 著者名/発表者名: Cai, D., Goto, S., Wang, J. P., Asai, N., Nagata, N., Fukumoto, A., & Kurumizawa, J.
  • 学会等名: Eurographics 2011 : posters
  • 発表場所: Llandudno, UK
  • 年月日: 2011-04-15
• [学会発表] 共感覚の脳機能イメージング (2010)
  • 著者名/発表者名: 長田典子
  • 学会等名: 音楽と科学研究会
  • 発表場所: 相愛大学(大阪)
  • 年月日: 2010-10-30
• [学会発表] Synesthetic Color Scheme in Fantasia (2010)
  • 著者名/発表者名: Cai, D. S., Goto, S., Shinohara, T., Nagata, N., Fukumoto, A., Kurumisawa, J., & Asai, N.
  • 学会等名: ACM SIGGRAPH 2010 : Talks, Visualization for Art & Design
  • 発表場所: Los angeles. USA
  • 年月日: 2010-07-27
• [学会発表] Measurement of Brain Function When Listening to Chords : fMRI Study (2010)
  • 著者名/発表者名: Akatsuka, S., Fujisawa, T. X., Aiba, E., & Nagata, N.
  • 学会等名: 16th Annual Meeting of the Organization for Human Brain Mapping
  • 発表場所: Barcelona. SPAIN
  • 年月日: 2010-06-26
• [学会発表] 調和度に基づく和音性評価モデルと楽曲ムードの色彩表現インタフェース (2010)
  • 著者名/発表者名: 谷光彬・饗庭絵里子・下斗米貴之・長田典子・藤澤隆史
  • 学会等名: 日本音響学会音楽音響研究会
  • 発表場所: 筑波大学
  • 年月日: 2010-03-11
• [学会発表] バーチャル夜光虫:水の流れを媒介とした光と音のインタラクション (2010)
  • 著者名/発表者名: 相田恭兵・長田典子
  • 学会等名: インタラクション2010
  • 発表場所: 一橋記念講堂,東京
  • 年月日: 2010-03-01
• [学会発表] 音と色のマルチモーダルインタラクション (2010)
  • 著者名/発表者名: 長田典子
  • 学会等名: 画像応用技術専門委員会研究会、精密工学会
  • 発表場所: 東京電機大学
  • 年月日: 2010-01-15
• [学会発表] コミュニケーションと感性 (2009)
  • 著者名/発表者名: 長田典子
  • 学会等名: ヒューマンインタフェース学会コミュニケーション支援専門研究会
  • 発表場所: 関西学院大学大阪梅田キャンパス
  • 年月日: 2009-11-28
• [学会発表] 人の感覚・感性を支援する技術 (2009)
  • 著者名/発表者名: 長田典子
  • 学会等名: (社)日本鉄鋼協会第142回制御技術部会
  • 発表場所: 神戸製鋼所加古川製鉄所
  • 年月日: 2009-11-13
• [学会発表] ヒューマンメディアにおける脳機能イメージング (2009)
  • 著者名/発表者名: 長田典子
  • 学会等名: 第25回近赤外フォーラム
  • 発表場所: 名古屋大学
  • 年月日: 2009-05-15
• [図書] 「なぜ音や文字に色が見えるのか」ケータイ版イミダス (2012)
  • 著者名/発表者名: 長田典子
  • 出版者: 集英社
• [備考] (1)長田典子(2012.5.19).音と色のハーモニー-科学・技術・アートを融合した感性価値の創出-,東京オトナ大学.
• [備考] (2)楽しい学問「感性情報学」,読売新聞, 2012.4.22.
• [備考] (3) NHK総合爆問学問(爆笑問題のニッポンの教養)「世界はもっとカラフルだ～共感覚のフシギ」, 2011.11.3
• [備考] (4)共感覚現象,読売新聞科学欄, 2011.9.26
• [備考] (5) BSフジガリレオX,「ガリレオチャンネル共感覚のミステリー」,再放送, 2011.4.1
• [備考] (6)四宮優・長田典子・鈴木輝昭・鈴木あずさ(2011.1.13,銀座ブルガリタワー8階プライベート・ラウンジ(東京)). trace(cross-wiring), The Lounge(Dandans Exhibition No.7),オープニングパフォーマンス,鈴木あずさ氏による、鈴木輝昭ピアノ独奏曲初演.
  • URL: http://dandans.jp/archiveDetail.php?exhibitionId=7.
• [備考] (7) NHK教育テレビ(ETV),「ガリレオチャンネル共感覚のミステリー」第51回科学技術映像祭入選作品から, 2010.05.29.
• [備考] (8)長田典子.フジテレビ「とくダネ!」で,共感覚に関して取材協力. 2010.04.26.
• [備考] (9)東京MXテレビ「ガリレオチャンネル共感覚のミステリー」が第51回科学技術映像祭文部科学大臣賞受賞,入選作品上映会が全国13都市で開催, 2010.03.11.
• [備考] (10)長田典子.共感覚のミステリー音や文字に色が見える!?-東京MXテレビ「ガリレオチャンネル」に出演, 2009.11.21.
• [備考]
  • URL: http://ist.ksc.kwansei.ac.jp/～nagata/