2014 Fiscal Year Research-status Report
色彩と音楽の感覚統合：脳科学とビジュアル・ルック・デザインの融合科学
| Project/Area Number |
26350016
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
浅井 信吉 会津大学, コンピュータ理工学部, 准教授 (80325969)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 情報デザイン / 感性デザイン |
|---|
| Outline of Annual Research Achievements |
本研究では,いままで,顧みられることの少なかった,共感覚的感覚統合を用いた,映像のサウンドビジュアルデザインとそのアルゴリズムを開発する。優れたクリエータがもつ感性を,共感覚を手がかりに、脳科学的に解明・モデル化し、コンテンツ作成には欠かせない音楽・映像のクロスモダリティを利用した映像のビジュアルックを決める共感覚的コンテンツ作成アルゴリズムを開発する。多くの優れたクリエータが持つと考えられる,共感覚とは、『音を聴くと色が見える』『味わうと形を感じる』など、一感覚刺激によって複数の知覚が不随意に引き起こされるクロスモーダル現象のことである。幼児の発達過程で,獲得されていく統合知覚（クロスモダリティ）は人間の感性に決定的な影響があり,共感覚は感覚モダリティ間の関係を明らかにする上で重要な手がかりとなる．本年度は,ファンタジアにおいて,「田園」の全章と,「くるみ割り人形」の第４章,「時のワルツ」の解析を中心に行った．ベートーベンの「田園」は、ソナタ(主調F)－＞ソナタ(Bb)－＞複合三部(F,D,C,Bb)－＞無形式(短調f, d,Bb,c#)－＞ロンドソナタ(F,C)となっており、共感覚色が１－３楽章で、その調にあった共感覚色が、導入、転調、キャラクタの登場（性格付け）、コーダ（フェードアウト）でやはり使われていることを確認．さらに、複合三部形式では、めまぐるしく変わるそれぞれの調に対して、複数の共感覚色が使われていた．４章では初めて、短調が使われていた。ゼウスの登場と、雷を撃つタイミングで動きと合わせて、ダイナミックに共感覚色が使われていた。最終章では、展開部とキャラクタの登場で共感覚色が使われていた．今後、これらの使われ方を分散検定で検証していく必要がある。「くるみ割り人形」の「時のワルツ」では、共感覚色は妖精の踊りに合わせるよう使われていたが、調との整合性が取れず、今後他の章との関連を調べる必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
共感覚的クロスモーダル性で作られた最高傑作であり、最も古典的なアニメ映画であると言われている、ディズニー映画「ファンタジア」の「田園」「くるみ割り人形」において、色彩ビジュアルルック効果が音楽に合わせてどのように行われているか、取得した共感覚被験者データとアニメで使われている色彩分布を調査した。1st Wasserstein距離を計算し，共感覚判定度との相関関係をとり回帰検定により，共感覚かどうか検定（キラーテストと呼ぶ）は準備中である。ウエブテストで得られた共感覚判定度と、もっとも共感覚的と言われている、ディズニー映画「ファンタジア」「ライオンキング」，「千と千尋の神隠し」などを今後行う必要がある。脳計測によるそのメカニズム調査も行い、レジストレーションまで行い成功した。
|
| Strategy for Future Research Activity |
現在までわかっている音楽⇔色彩原理をさらに詳しく検証し，新たな原理を探求する.特に,下記のビジュアル定理のアルゴリズム化を行う。物語の展開と転調、共感覚色はよく分かっていない。共感覚色は、音楽の転調時、すなわち、物語の展開時に強く出す。これにより、ストーリ・物語の展開をビジュアルに印象づけるためで、どうアルゴリズムするかが重要。主人公、キャラクタの登場時、その楽章の主調の共感覚色が強く使われ、登場人物のキャラクタの存在をビジュアルに強める。これは、「共感」「感情」と深く関係しており、脳計測の詳細な解析が待たれる。また，実際の映画のカラーグレーディング，ゲームでの共感覚効果を調査する必要がある。 今後、第一に被験者を増やす、第二に脳計測結果の詳細な解析を重点的に行い、合わせて,メディア解析を平行させていく。
|
| Causes of Carryover |
脳解析に予定していたアルバイト料について、当初レジストレーションのやり方が間違っていたことと、その原因特定に手間取ったために、結果的にそのアルバイト料相当を繰り越すことになった。
|
| Expenditure Plan for Carryover Budget |
上記、レジストレーションにおける間違いの原因が特定できたので、本年度、そのアルバイトをお願いし、アルバイト料を支払うのと同時に、頭書２７年度計画にある経費は計画通りに使用する予定。
|
-
[Presentation] "Name-color" synesthesia making consistency test2014
Author(s)
E. Sakurai, D. Ippeita, D. Cai, N. Asai
Organizer
Joint 7th International Conference on Soft Computing and Intelligent Systems and 15th International Symposium on Advanced Intelligent Systems
Place of Presentation
Kitakyushu
Year and Date
2014-12-03 – 2014-12-06
-
-
-
