• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2012 年度 実施状況報告書

色彩と音楽のクロスモーダルな転調;脳科学とコンテンツデザインの融合

研究課題

研究課題/領域番号 23611029
研究機関会津大学

研究代表者

浅井 信吉  会津大学, コンピュータ理工学部, 准教授 (80325969)

研究分担者 成瀬 継太郎  会津大学, コンピュータ理工学部, 准教授 (10301938)
キーワード共感覚 / クロスモダリティ / MEG / 色字 / 色聴
研究概要

近代におけるメディアには音楽と映像の融合が不可欠となっている。テレビ・映画・ゲームはもちろんのこと、現代アートや舞台演出などの芸術表現においても、音や色を同時に用いた芸術は近年ますます増えつつある。しかしこれらは表現者の感性に大きく依存し、科学的知見は少ない。これは従来の排他的に分類された学問領域だけでは明らかにすることができないことに一因がある。複合された知覚様態のことをクロスモダリティーと呼び、芸術や創作への応用が期待されてきている。共感覚者のもつクロスモダリティーは人間が本来もっているものとされ、非共感覚者にも潜在的にそのクロスモダリティーがあると示唆されている。「文字や数字に色が見える」「味に形を感じる」といった共感覚は現在「一つの感覚刺激によって別の知覚が不随意に引き起こされる知覚現象」と定義されている。共感覚という現象自体は古くから知られていたが、幻覚と区別がつかないことに加え実証主義的な測定方法がなかったため、非科学的なものとされていた。本研究では音、色、情動に焦点をあて共感覚のクロスモダリティについて多角なアプローチを試みる。本研究では共感覚者のクロスモダリティーを応用することで、複数の知覚や情動における相関を明らかにしようと試みる。共感覚は複数の知覚を不随意かつ同時に知覚することで、一般には芸術に素養のある人に多く見られると言われる。共感覚者に対し名前と色の対応関係を実験により比較検討した。また、その結果をもとに、脳科学実験刺激を作成した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

Fantasiaは1940年に公開されたディズニー映画で、「最も共感覚的な映画」と言われ、その芸術性は今日でもなお評価されており、音楽・色のクロスモダリティを使った芸術の典型・お手本を言われる。Fantasiaにヒストグラム解析を施すことで、共感覚の色が本当に使われているのかどうかを検証する。Fantasiaはクラシック音楽に合わせ情景やキャラクターが躍動する台詞のない映画である。背景音楽はこの映画の為にオーケストラ演奏したものが使用され、曲によっては原曲(作曲者の楽譜)とは大きく異なるものもある。
検証対象に用いるのはその5曲目にあたる「田園交響曲(原題:Symphony No.6 , Op.68 “Pastoral” by Beethoven 以下『田園』と称す)」の第一楽章(Erwachen heiterer Empfindungen dei der Ankunft auf dem Lande.)である。編曲の少ない、できるだけ楽譜に忠実な原曲に近く転調のあるものを選んだ。「田園」では151小節目から422小節目までが省かれている。これは「田園」のソナタ形式における展開部にあたる。原曲からの主な変更点は省略のみであり、動画演出のための細かな緩急やアクセントを除けば原曲とさほど変わらない。共感覚Webテストの結果を用い、クラスタリングされた色がどのように使われているか検証した。その結果、転調や印象的な場面において共感覚色の著しい変化が見られたことから、製作者は意図的に共感覚を演出に用いている可能性が示唆された。
また、名前に色を感じる共感覚者に、500以上の一字の名前を見てもらい、色を決定する実験を2度行った。その結果、色と名前の一貫性を確かめ、脳科学実験用の刺激テストを作成した。

今後の研究の推進方策

より量的質的な実験が必要とされる。色聴に関して共感覚者のノンバーバルマッピングが非共感覚者にも存在する可能性が示唆されているが、もし同一であるならば共感覚の有無を測定することはより困難となる。現行のテストでは識別能力に限界があり、新たな知見やより厳密な科学理論に基づく実験手法が求められる。
アンケートでは目的に応じて共感覚の現象と非共感覚者の印象との差異をはっきりと被験者に理解してもらう説明が必要となる。調性の一度圏における結果は興味深い知見であり、今後の実験でより明確な音と色の対応関係が判明することが期待できる。WEBテストでは同時に質感の調査も行っていたため、そのデータも踏まえてクロスモダリティーを解明していきたい。また共感覚者にはクロスモダリティーとして見える形が決まっており、「定形(form constant)」と呼ばれている。これも合わせて例えば実際にFantasiaを共感覚者に見ていただくという実験を行うなどの手法が考えられる。Fantasiaによる共感覚検証では課題が多かったため、様々なパラメータを用いてさらなる検証が必要とされる。一方で転調に合わせた色の変化は映像演出への応用が期待できる。
本年度作成した、刺激テストを使い、共感覚者へ本格的、Meg脳科学実験を行う。

次年度の研究費の使用計画

1. MEG脳科学実験用刺激テスト作成アルバイト:現在まで収集したデータをもとに、実験刺激を作成する。Congrutent, Inconguruent, 崩し文字刺激をそれそれ400づつ作成
2. Web共感覚テストHP維持のためのアルバイト費:多くの色聴者は、調に色彩とイメージを感じており、調を基準に、音階、和音に色彩、イメージを感じている。共感覚Webテストで最後に行う、聞き取り調査で判明したことは、多くの共感覚者はそれぞれの色に独特の質感・イメージを感じていることであった。本研究では、これらの聞き取り調査を基に、Webテストのカラーピッカで色を選んでもらったあと、共感覚者への聞き取り調査を基に触感テストを作成する
3. MEG脳計測データ解析:MEGテストのデータ解析を行う

  • 研究成果

    (10件)

すべて 2013 2012 その他

すべて 雑誌論文 (2件) (うち査読あり 2件) 学会発表 (8件)

  • [雑誌論文] 群れ形成の動力学2013

    • 著者名/発表者名
      成瀬継太郎
    • 雑誌名

      計測と制御

      巻: Vol. 52, No.3 ページ: 234--239

    • 査読あり
  • [雑誌論文] Recognition of ShortTime-Paired Activities -An Algorithm for a Smart Reminder System-2012

    • 著者名/発表者名
      H. T. Chaminda, V. Klyuev, K Naruse, M. Osano
    • 雑誌名

      IEEJ Transactions on Electronics, Information and Systems

      巻: Vol.132, No. 6 ページ: 1016--1027

    • 査読あり
  • [学会発表] Velocity Correlation in Flocking with Different Motion Model Robots2012

    • 著者名/発表者名
      K. Naruse
    • 学会等名
      Proc. of 2012 IEEE/SICE International Symposium on System Integration (SII), PP. 434-439
    • 発表場所
      Fukuoka, Japan
    • 年月日
      20121216-20121218
  • [学会発表] Modeling and Analysis of Information Propagation in Multilayered Communities in Twitter2012

    • 著者名/発表者名
      K. Naruse
    • 学会等名
      Proc. of the 6th International Conference on Soft Computing and Intelligent Systems and The 13th International Symposium on Advanced Intelligent Systems
    • 発表場所
      Kobe Convention Center
    • 年月日
      20121120-20121124
  • [学会発表] Development of Accommodation Facility Selection Recommendation System2012

    • 著者名/発表者名
      K. Naruse, E. Sato, Y. Yaguchi
    • 学会等名
      Proc. of the 4th International Conference on Awareness Science and Technology (iCast2012), PP. 207-211
    • 発表場所
      seoul, Karea
    • 年月日
      20120821-20120824
  • [学会発表] Velocity Correlation in Swarm Robots with Directional Neighborhood2012

    • 著者名/発表者名
      K. Naruse
    • 学会等名
      Intelligent Autonomous Systems 12, Advances in Intelligent Systems and Computing Volume 194, pp 843-851
    • 発表場所
      jeju Island, Korea
    • 年月日
      20120626-20120629
  • [学会発表] Control of a Passive-Dynamic-Walking-BasedBiped Model with Semicircular Feet for a Small Stair Step2012

    • 著者名/発表者名
      Jun Kanno and K. Naruse
    • 学会等名
      Proc. of the 5th International Conference on Intelligent Robotics and Applications (ICIRA 2012), Part III, LNAI 7508, pp. 151--160
    • 発表場所
      St. Paul Convention Center St Paul, MN, USA
    • 年月日
      20120514-20120518
  • [学会発表] Control of an Ostrich-Like Knee Joint for a Biped Robot Based on Passive Dynamic Walking2012

    • 著者名/発表者名
      H. Yamamoto and K. Naruse
    • 学会等名
      Proc. of the 5th International Conference on Intelligent Robotics and Applications (ICIRA 2012), Part III, LNAI 7508, pp. 103--112
    • 発表場所
      St. Paul Convention Center St Paul, MN, USA
    • 年月日
      20120514-20120518
  • [学会発表] 共感覚における色聴のテスト方法の考案

    • 著者名/発表者名
      櫻井詠輝, 浅井信吉, 蔡東生
    • 学会等名
      第4回情報処理学会東北支部研究会
    • 発表場所
      会津大学
  • [学会発表] 人名漢字に対する共感覚色テスト

    • 著者名/発表者名
      渡辺彬, 植西紀文, 檀一平太, 蔡東生, 浅井信吉
    • 学会等名
      第4回情報処理学会東北支部研究会
    • 発表場所
      会津大学

URL: 

公開日: 2014-07-24  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi