2011 Fiscal Year Research-status Report
色彩と音楽のクロスモーダルな転調；脳科学とコンテンツデザインの融合
| Project/Area Number |
23611029
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
浅井 信吉 会津大学, コンピュータ理工学部, 准教授 (80325969)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
成瀬 継太郎 会津大学, コンピュータ理工学部, 准教授 (10301938)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | 感性デザイン |
|---|
| Research Abstract |
本研究では，共感覚のクロス・モダリティと，音楽理論（楽典）の感覚の相対性，シンメトリー性を用いたメディアデザインツールを開発する．９０年後半以降、PET(Positron Emission Tomography)やfMRI(functional Magnetic Resonance Imaging)を用いた実験により、共感覚のメカニズムが次第に明らかにされ、その存在は否定できないものになってきた。共感覚を手がかりに主観的な心の世界と客観的な脳との関係を深く探る手がかりとしようとするクロス・モダリティの研究が継続的に行われている。共感覚は感覚モダリティ間の関係を明らかにする上で重要な手がかりとなることが期待される．同時に共感覚の脳内メカニズムを映像・音楽・インタラクティブアート等各種メディアのデザインに応用することにより，より感覚・感性に則した豊かなメディア表現を創出する可能性がある.共感覚保持者は数万人に１人と言われていたが，最近になって，共感覚は実は感覚のクロス・モダリティであり，元々，普通の人が持っていたものが，限られた人にだけ意識にのぼっているとの説が強くなっている．本研究では，共感覚（特に視覚と聴覚）の脳内クロスモーダル・メカニズムに焦点をあて，共感覚モデル，と音楽理論（楽典）の相対性，シンメトリー性，をメディア表現に適用し，科学的根拠を持った音楽・色彩のメディアデザインを実現するため、東京芸術大学・筑波大学芸術専門学群など約１０００名を対象に、アンケート聞き取り調査を行い、その中で、共感覚者の可能性の高い３０名にウエッブ受け手もらった。また、３名の被験者に一貫性テストを行い、脳計測実験のテスト課題の作成を行った.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
90年代に発展した脳機能計測手法によって，付随する感覚を司る脳内各部位の活性化が観測され，共感覚を客観的に観測したとの報告が散見されるようになった．文字に色を感じる共感覚 (Palmeri,2001)，音に関する共感覚(Ward,2006)等の計測例がある．さらに生後3ヶ月までの新生児には聴覚野と視覚野の間に経路があったが，１，成長過程で刈り込まれる（アポトーシス（細胞の自死）説），２，成長過程で脳内物質のバランスにより径路間の情報伝達が抑制される（inhibition説）が提案された．すなわち本来万人が共感覚を持っていたとの仮説が提案された（RamachandranらのCross Wiring仮説, 2001）． 2007年grapheme→color共感覚者の脳内で初めてこのCross Wiring（文字知覚部位と色知覚部位間）が確認されとの報告がなされた(Rowe, 2007)，現在も世界中でこの研究が支持されている．これらの、クロスモーダルメカニズムを検証し、理論モデル化するため以下の研究をおこなった１.東京芸大、筑波大学芸術専門学群など約１０００人への聞きアンケート・取り調査を行った。２.共感覚性の強い約３０名にウエッブテストを受けてもらい、音と色のクロスモダリティの統計データをとった。３.ウエッブデータを、シルエット法などのクラスタリングをもとに、クラスタ数とその色を同定。４.クラスタ結果の色とGoogle N-Gramで検索される色彩語の相関をとり、強い相関があることを確認５.サポートベクターマシンを使い、さらに精度の高い相関を求めた。６.４，５のモデルから、クロスモーダル・メカニズムの最も高い可能性のある理論を確認。７.５名の共感覚被験者に聞き取り調査を行い、音に色を感じる一貫性テストを行った
|
| Strategy for Future Research Activity |
本研究では，得られた共感覚モデルと音楽理論のシンメトリー性を音楽イメージビジュアライザ・映像色彩編集ソフトに組み込み，共感覚のメカニズムを反映した科学的根拠を持った音楽と色彩・質感のインタラクティブアートを実現する． そのため、１. 共感覚モデルに基づくインタラクティブアートの構築：現在，本研究グループは色彩で音楽のイメージを実現するインターフェースを開発中である．調，特に転調が喚起するイメージを共感覚的調性評価モデルに基づき色彩・質感で表現する．調性は不協和度と緊張度，およびモード感の3 要素から構成されており，転調によってイメージ・ストーリ性がつくられ，転調関係にシンメトリー性があり，そのイメージ・ストーリ構成にもシンメトリー性がある．これに課題（１）で構築した共感覚モデルに基づく拡張を行い，調性に加え音楽調性・コード進行・単音に対応して優位性を考慮しながら色彩・質感・イメージを対応させることによって，より複雑なイメージ，ストーリ性を持たせるメディアの開発が可能になる ２. モデル・システム評価 構築したモデルおよびインタラクティブアートの妥当性に関し，心理実験により評価を行う．心理実験は色聴共感覚者と一般群（非共感覚保持者）に加えて，絶対音感保持者，相対音感保持者など音楽経験によりカテゴライズした被験者群を用いて行う．システムの出力に対し，映像と音楽のイメージがあっているか，コンテンツが印象深いかどうか等の評価を行う．評価方法には内観報告とともに，fMRI, 生理心理計測，fNIRSを用いた脳前頭部の情動活動も同時に計測し，主観的かつ客観的にコンテンツ評価を行う．
|
| Expenditure Plans for the Next FY Research Funding |
１. Web共感覚テストの拡張アルバイト費：多くの色聴者は，調に色彩とイメージを感じており，調を基準に，音階，和音に色彩，イメージを感じている．共感覚Webテストで最後に行う，聞き取り調査で判明したことは，多くの共感覚者はそれぞれの色に独特の質感・イメージを感じていることであった．本研究では、これらの聞き取り調査を基に，Webテストのカラーピッカで色を選んでもらったあと,共感覚者への聞き取り調査を基に用意したテクスチャを選ぶテスト形式に変更し,東京芸術大学を中心に50－100名の共感覚者にテストに参加してもらう予定である．ウエッブテストのためのアルバイト費を予定。２. 音楽・色彩・色彩クロス・モダリティの分析のための脳計測費：共感覚テストの結果は,音階,和音，調テストごとに，クラスタ分析を行い，色彩，質感，イメージに対して，クラスター分析で使われる，シルエット値をもとめクラスタ数とクラスタ中心を決定する．現在までの結果では，各調に，2－5色程度，全体で20－30色のクラスタに分けられることがわかっている．これが事実であるなら，共感覚者が感じる質感の種類も同じ程度の数になることが予定される．今回のテストでは，さらに，各テストで，それぞれの，音階，和音，音階ごとにイメージ（性格）の聞き取り調査を行い，テキストマイニングを行う．どのようなキーワードが，色彩,質感と関連づけられるか,人間がクロスモーダルに感じる質感の数,それらと結びつけられる知覚の謎に迫る. 脳計測のためのデータ取得、テストモデル作成のためのアルバイト学生人件費、脳計測技師への謝金を予定。当該繰越が生じた理由：利用を予定していた、fMRIが震災でしばらく使えなかった、研究施設の復旧などで時間がかかり、fMRI脳科学実験の課題作り、被験者への事前聞き取りに時間がかかったため
|
