| 研究実績の概要 |
本研究では,いままで,顧みられることの少なかった,共感覚的感覚統合を用いた,映像のサウンドビジュアルデザインとそのアルゴリズムを開発する。優れたクリエータがもつ感性を,共感覚を手がかりに、脳科学的に解明・モデル化し、コンテンツ作成には欠かせない音楽・映像のクロスモダリティを利用した映像のビジュアルックを決める共感覚的コンテンツ作成アルゴリズムを開発する。多くの優れたクリエータが持つと考えられる,共感覚とは、『音を聴くと色が見える』『味わうと形を感じる』など、一感覚刺激によって複数の知覚が不随意に引き起こされるクロスモーダル現象のことである。幼児の発達過程で,獲得されていく統合知覚（クロスモダリティ）は人間の感性に決定的な影響があり,共感覚は感覚モダリティ間の関係を明らかにする上で重要な手がかりとなる．本年度は,ファンタジアにおいて,「田園」の全章と,「くるみ割り人形」の第４章,「時のワルツ」の解析を中心に行った．ベートーベンの「田園」は、ソナタ(主調F)－＞ソナタ(Bb)－＞複合三部(F,D,C,Bb)－＞無形式(短調f, d,Bb,c#)－＞ロンドソナタ(F,C)となっており、共感覚色が１－３楽章で、その調にあった共感覚色が、導入、転調、キャラクタの登場（性格付け）、コーダ（フェードアウト）でやはり使われていることを確認．さらに、複合三部形式では、めまぐるしく変わるそれぞれの調に対して、複数の共感覚色が使われていた．４章では初めて、短調が使われていた。ゼウスの登場と、雷を撃つタイミングで動きと合わせて、ダイナミックに共感覚色が使われていた。最終章では、展開部とキャラクタの登場で共感覚色が使われていた．今後、これらの使われ方を分散検定で検証していく必要がある。「くるみ割り人形」の「時のワルツ」では、共感覚色は妖精の踊りに合わせるよう使われていたが、調との整合性が取れず、今後他の章との関連を調べる必要がある。
|
| 今後の研究の推進方策 |
現在までわかっている音楽⇔色彩原理をさらに詳しく検証し，新たな原理を探求する.特に,下記のビジュアル定理のアルゴリズム化を行う。物語の展開と転調、共感覚色はよく分かっていない。共感覚色は、音楽の転調時、すなわち、物語の展開時に強く出す。これにより、ストーリ・物語の展開をビジュアルに印象づけるためで、どうアルゴリズムするかが重要。主人公、キャラクタの登場時、その楽章の主調の共感覚色が強く使われ、登場人物のキャラクタの存在をビジュアルに強める。これは、「共感」「感情」と深く関係しており、脳計測の詳細な解析が待たれる。また，実際の映画のカラーグレーディング，ゲームでの共感覚効果を調査する必要がある。 今後、第一に被験者を増やす、第二に脳計測結果の詳細な解析を重点的に行い、合わせて,メディア解析を平行させていく。
|
