研究課題
本研究では、共感覚のクロス・モダリティと、音楽理論（楽典）の感覚の相対性、シンメトリー性を用いたメディアデザインツールを開発する。９０年後半以降、PET(Positron Emission Tomography)やfMRI(functional Magnetic Resonance Imaging)を用いた実験により、共感覚のメカニズムが次第に明らかにされ、その存在は否定できないものになってきた。共感覚を手がかりに主観的な心の世界と客観的な脳との関係を深く探る手がかりとしようとするクロス・モダリティの研究が継続的に行われている。共感覚は感覚モダリティ間の関係を明らかにする上で重要な手がかりとなることが期待される。同時に共感覚の脳内メカニズムを映像・音楽・インタラクティブアート等各種メディアのデザインに応用することにより、より感覚・感性に則した豊かなメディア表現を創出する可能性がある。共感覚保持者は数万人に１人と言われていたが、最近になって、共感覚は実は感覚のクロス・モダリティであり、元々、普通の人が持っていたものが、限られた人にだけ意識にのぼっているとの説が強くなっている。本研究では、共感覚（特に視覚と聴覚）の脳内クロスモーダル・メカニズムに焦点をあて、共感覚モデルと音楽理論（楽典）の相対性、シンメトリー性をメディア表現に適用し、科学的根拠を持った音楽・色彩のメディアデザインを実現するため、東京芸術大学・筑波大学芸術専門学群など約１０００名を対象に、アンケート聞き取り調査を行い、その中で共感覚者の可能性の高い３０名にウエッブテストを受けてもらった。また、３名の被験者に一貫性テストを行い、脳計測実験のテスト課題の作成を行った。
2: おおむね順調に進展している
90年代に発展した脳機能計測手法によって、付随する感覚を司る脳内各部位の活性化が観測され、共感覚を客観的に観測したとの報告が散見されるようになった。文字に色を感じる共感覚 (Palmeri、2001)、音に関する共感覚(Ward、2006)等の計測例がある。さらに生後3ヶ月までの新生児には聴覚野と視覚野の間に経路があったが、１、成長過程で刈り込まれる（アポトーシス（細胞の自死）説）、２、成長過程で脳内物質のバランスにより径路間の情報伝達が抑制される（inhibition説）が提案された。すなわち本来万人が共感覚を持っていたとの仮説が提案された（RamachandranらのCross Wiring仮説、 2001）。 2007年grapheme→color共感覚者の脳内で初めてこのCross Wiring（文字知覚部位と色知覚部位間）が確認されとの報告がなされた(Rowe、 2007)。現在も世界中でこの研究が支持されている。これらの、クロスモーダルメカニズムを検証し、理論モデル化するため以下の研究をおこなった。１、東京芸大、筑波大学芸術専門学群など約１０００人への聞きアンケートを取り調査を行った。２、共感覚性の強い約３０名にウエッブテストを受けてもらい、音と色のクロスモダリティの統計データをとった。３、ウエッブデータを、シルエット法などのクラスタリングをもとに、クラスタ数とその色を同定。４、クラスタ結果の色とGoogle N-Gramで検索される色彩語の相関をとり、強い相関があることを確認 ５、サポートベクターマシンを使い、さらに精度の高い相関を求めた。６、４、５のモデルからクロスモーダル・メカニズムの最も高い可能性のある理論を確認 ７、５名の共感覚被験者に聞き取り調査を行い、脳計測を行うためのＡＮＯＶＡ検定をベースにした実験モデルを作成した。
本研究では、得られた共感覚モデルと音楽理論のシンメトリー性を音楽イメージビジュアライザ・映像色彩編集ソフトに組み込み、共感覚のメカニズムを反映した科学的根拠を持った音楽と色彩・質感のインタラクティブアートを実現する。 (1)共感覚モデルに基づくインタラクティブアートの構築：現在、本研究グループは色彩で音楽のイメージを実現するインターフェースを開発中である。調、特に転調が喚起するイメージを共感覚的調性評価モデルに基づき色彩・質感で表現する。調性は不協和度と緊張度、およびモード感の3 要素から構成されており、転調によってイメージ・ストーリ性がつくられ、転調関係にシンメトリー性があり、そのイメージ・ストーリ構成にもシンメトリー性がある。これに昨年度構築した共感覚モデルに基づく拡張を行い、調性に加え音楽調性・コード進行・単音に対応して優位性を考慮しながら色彩・質感・イメージを対応させることによって、より複雑なイメージ、ストーリ性を持たせるメディアの開発が可能になる(2)モデル・システム評価 構築したモデルおよびインタラクティブアートの妥当性に関し、心理実験により評価を行う。心理実験は色聴共感覚者と一般群（非共感覚保持者）に加えて、絶対音感保持者、相対音感保持者など音楽経験によりカテゴライズした被験者群を用いて行う。システムの出力に対し、映像と音楽のイメージがあっているか、コンテンツが印象深いかどうか等の評価を行う。評価方法には内観報告とともに、fMRI、 生理心理計測、fNIRSを用いた脳前頭部の情動活動も同時に計測し、主観的かつ客観的にコンテンツ評価を行う。
１．Web共感覚テストの拡張アルバイト費：多くの色聴者は、調に色彩とイメージを感じており、調を基準に、音階、和音に色彩、イメージを感じている。共感覚Webテストで最後に行う、聞き取り調査で判明したことは、多くの共感覚者はそれぞれの色に独特の質感・イメージを感じていることであった。本研究では、これらの聞き取り調査を基に、Webテストのカラーピッカで色を選んでもらったあと、共感覚者への聞き取り調査を基に用意したテクスチャを選ぶテスト形式に変更し、東京芸術大学を中心に50－100名の共感覚者にテストに参加してもらう予定である。ウエッブテストのためのアルバイト費を予定。２．音楽・色彩・色彩クロス・モダリティの分析のための脳計測費：共感覚テストの結果は、音階、和音、調テストごとにクラスタ分析を行い、色彩、質感、イメージに対して、クラスタ分析で使われるシルエット値をもとめクラスタ数とクラスタ中心を決定する。現在までの結果では、各調に2－5色程度、全体で20－30色のクラスタに分けられることがわかっている。これが事実であるなら、共感覚者が感じる質感の種類も同じ程度の数になることが予定される。今回のテストでは、さらに各テストでそれぞれの音階、和音、音階ごとにイメージ（性格）の聞き取り調査を行い、テキストマイニングを行う。どのようなキーワードが色彩、質感と関連づけられるか、人間がクロスモーダルに感じる質感の数、それらと結びつけられる知覚の謎に迫る。 脳計測のためのデータ取得、テストモデル作成のためのアルバイト学生人件費、脳計測技師への謝金を予定。H23年度に既存の設備を活用して収集した脳科学計測のための基礎データを基にして、H23、H24両年度の予算を使用して大規模な被験者脳科学実験等を行う。
すべて 2012 2011 その他
すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (5件) 備考 (1件)
IEEE Trans. Plasma Sci.
巻: accepted ページ: accepted
http://www.cavelab.cs.tsukuba.ac.jp/~gotoh/syneth/syn.html
