2012 Fiscal Year Research-status Report
色彩と音楽のクロスモーダルな転調；脳科学とコンテンツデザインの融合
| Project/Area Number |
23611029
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
浅井 信吉 会津大学, コンピュータ理工学部, 准教授 (80325969)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
成瀬 継太郎 会津大学, コンピュータ理工学部, 准教授 (10301938)
|
|---|
| Keywords | 共感覚 / クロスモダリティ / MEG / 色字 / 色聴 |
|---|
| Research Abstract |
近代におけるメディアには音楽と映像の融合が不可欠となっている。テレビ・映画・ゲームはもちろんのこと、現代アートや舞台演出などの芸術表現においても、音や色を同時に用いた芸術は近年ますます増えつつある。しかしこれらは表現者の感性に大きく依存し、科学的知見は少ない。これは従来の排他的に分類された学問領域だけでは明らかにすることができないことに一因がある。複合された知覚様態のことをクロスモダリティーと呼び、芸術や創作への応用が期待されてきている。共感覚者のもつクロスモダリティーは人間が本来もっているものとされ、非共感覚者にも潜在的にそのクロスモダリティーがあると示唆されている。「文字や数字に色が見える」「味に形を感じる」といった共感覚は現在「一つの感覚刺激によって別の知覚が不随意に引き起こされる知覚現象」と定義されている。共感覚という現象自体は古くから知られていたが、幻覚と区別がつかないことに加え実証主義的な測定方法がなかったため、非科学的なものとされていた。本研究では音、色、情動に焦点をあて共感覚のクロスモダリティについて多角なアプローチを試みる。本研究では共感覚者のクロスモダリティーを応用することで、複数の知覚や情動における相関を明らかにしようと試みる。共感覚は複数の知覚を不随意かつ同時に知覚することで、一般には芸術に素養のある人に多く見られると言われる。共感覚者に対し名前と色の対応関係を実験により比較検討した。また、その結果をもとに、脳科学実験刺激を作成した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
Fantasiaは1940年に公開されたディズニー映画で、「最も共感覚的な映画」と言われ、その芸術性は今日でもなお評価されており、音楽・色のクロスモダリティを使った芸術の典型・お手本を言われる。Fantasiaにヒストグラム解析を施すことで、共感覚の色が本当に使われているのかどうかを検証する。Fantasiaはクラシック音楽に合わせ情景やキャラクターが躍動する台詞のない映画である。背景音楽はこの映画の為にオーケストラ演奏したものが使用され、曲によっては原曲（作曲者の楽譜）とは大きく異なるものもある。
検証対象に用いるのはその5曲目にあたる「田園交響曲(原題：Symphony No.6 , Op.68 “Pastoral” by Beethoven 以下『田園』と称す)」の第一楽章(Erwachen heiterer Empfindungen dei der Ankunft auf dem Lande.)である。編曲の少ない、できるだけ楽譜に忠実な原曲に近く転調のあるものを選んだ。「田園」では151小節目から422小節目までが省かれている。これは「田園」のソナタ形式における展開部にあたる。原曲からの主な変更点は省略のみであり、動画演出のための細かな緩急やアクセントを除けば原曲とさほど変わらない。共感覚Webテストの結果を用い、クラスタリングされた色がどのように使われているか検証した。その結果、転調や印象的な場面において共感覚色の著しい変化が見られたことから、製作者は意図的に共感覚を演出に用いている可能性が示唆された。
また、名前に色を感じる共感覚者に、５００以上の一字の名前を見てもらい、色を決定する実験を２度行った。その結果、色と名前の一貫性を確かめ、脳科学実験用の刺激テストを作成した。
|
| Strategy for Future Research Activity |
より量的質的な実験が必要とされる。色聴に関して共感覚者のノンバーバルマッピングが非共感覚者にも存在する可能性が示唆されているが、もし同一であるならば共感覚の有無を測定することはより困難となる。現行のテストでは識別能力に限界があり、新たな知見やより厳密な科学理論に基づく実験手法が求められる。
アンケートでは目的に応じて共感覚の現象と非共感覚者の印象との差異をはっきりと被験者に理解してもらう説明が必要となる。調性の一度圏における結果は興味深い知見であり、今後の実験でより明確な音と色の対応関係が判明することが期待できる。WEBテストでは同時に質感の調査も行っていたため、そのデータも踏まえてクロスモダリティーを解明していきたい。また共感覚者にはクロスモダリティーとして見える形が決まっており、「定形(form constant)」と呼ばれている。これも合わせて例えば実際にFantasiaを共感覚者に見ていただくという実験を行うなどの手法が考えられる。Fantasiaによる共感覚検証では課題が多かったため、様々なパラメータを用いてさらなる検証が必要とされる。一方で転調に合わせた色の変化は映像演出への応用が期待できる。
本年度作成した、刺激テストを使い、共感覚者へ本格的、Meg脳科学実験を行う。
|
| Expenditure Plans for the Next FY Research Funding |
1． MEG脳科学実験用刺激テスト作成アルバイト：現在まで収集したデータをもとに、実験刺激を作成する。Congrutent, Inconguruent, 崩し文字刺激をそれそれ４００づつ作成
２． Web共感覚テストHP維持のためのアルバイト費：多くの色聴者は、調に色彩とイメージを感じており、調を基準に、音階、和音に色彩、イメージを感じている。共感覚Webテストで最後に行う、聞き取り調査で判明したことは、多くの共感覚者はそれぞれの色に独特の質感・イメージを感じていることであった。本研究では、これらの聞き取り調査を基に、Webテストのカラーピッカで色を選んでもらったあと、共感覚者への聞き取り調査を基に触感テストを作成する
３． MEG脳計測データ解析：MEGテストのデータ解析を行う
|
