視聴覚統合における情報処理の特性と知覚変容との関連の実験的検討

• Project/Area Number: 12J04354
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Experimental psychology
• Research Institution: Tohoku University
• Principal Investigator: 竹島 康博 東北大学, 文学研究科, 特別研究員(DC1)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Project Status: Completed (Fiscal Year 2014)
• Budget Amount: ¥3,000,000 (Direct Cost: ¥3,000,000); Fiscal Year 2014: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2013: ¥1,000,000 (Direct Cost: ¥1,000,000); Fiscal Year 2012: ¥1,000,000 (Direct Cost: ¥1,000,000)
• Keywords: 視聴覚統合 / 視聴覚相互作用 / 感覚処理速度 / 分裂錯覚 / 空間周波数 / 複雑さ / 事象関連電位 / 逆行性マスキング課題 / 主観的同期点 / 注意 / 大脳半球機能差 / 視野非対称性 / Cross-modal correspondence

Outline of Annual Research Achievements

本年度は，視覚刺激の処理速度が視聴覚統合に与える影響について，これまで行った研究を補足するための実験，および脳波計測による生理データからの裏付けの実験を実施した。
これまでの研究から，視覚刺激の処理速度の違いが，視聴覚統合処理に影響を与えることが見出されている。2年目に研究で，視覚刺激の空間周波数による処理速度の操作によって，視覚刺激と聴覚刺激の同期知覚が変容することを発見している。そこで，この同期知覚の変容が視聴覚統合によって生じる錯覚現象にも波及することを，分裂錯覚と呼ばれる現象を用いて検討した。実験の結果，処理速度の遅い高空間周波数刺激では，分裂錯覚が生じにくいことが確認された。したがって，視覚刺激の処理速度が異なることによる視聴覚統合処理の影響の背景に，視聴覚間の同期知覚の変容が存在することが示唆された。
また，以上のような視覚刺激の処理速度による視聴覚統合への影響を示す行動データを，生理指標によって裏付けるため，複雑さによって処理速度を操作した視覚刺激を使用した分裂錯覚の生起時の脳波の計測を行った。分裂錯覚を用いた脳波の計測実験では，先行研究よりPD120，PD160，ND270という3つの事象関連電位 (ERP) 成分が観察されることが報告されている。この3つのERP成分に注目して分析を行ったところ，ND270だけは処理速度の遅い複雑な視覚刺激では観察されなかった。したがって，ND270が反映している視聴覚統合処理は，複雑な視覚刺激では生じにくいことが示された。
以上の研究から，視聴覚情報の統合過程では視覚処理の処理速度によって同期知覚が変容し，視聴覚統合処理全体にも影響が生じることが，心理物理実験および神経生理実験の結果から明らかとなった。また，この処理速度の影響は，比較的低次から高次までの視覚処理過程の様々な処理段階において生じることが示された。

Research Progress Status

26年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

26年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Spatial frequency modulates the degree of illusory second flash perception. (2015)
  • Author(s): Takeshima, Y., & Gyoba, J.
  • Journal Title: Multisensory Research Volume: 28 Issue: 1-2 Pages: 1-10
  • DOI: 10.1163/22134808-00002468
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] Hemispheric asymmetry in the auditory facilitation effect in dual-stream rapid serial visual presentation tasks. (2014)
  • Author(s): Takeshima, Y., & Gyoba, J.
  • Journal Title: PLOS ONE Volume: 9 Issue: 8 Pages: 1-10
  • DOI: 10.1371/journal.pone.0104131
  • Peer Reviewed / Open Access / Acknowledgement Compliant
• [Journal Article] 幾何学図形により駆動される前知覚的情動処理による視覚処理の促進効果. (2014)
  • Author(s): 竹島康博・行場次朗
  • Journal Title: 電子情報通信学会技術報 Volume: 114 Pages: 17-22
  • Acknowledgement Compliant
• [Journal Article] Pattern dot quantity affects auditory facilitation effects on visual object representations. (2014)
  • Author(s): Takeshima, Y. & Gyoba, J.
  • Journal Title: Perception Volume: 43 Issue: 2-3 Pages: 107-116
  • DOI: 10.1068/p7540
  • Peer Reviewed
• [Journal Article] Changing Pitch of Sounds Alters Perceived Visual Motion Trajectory (2013)
  • Author(s): Takeshima, Y. & Gyoba, J.
  • Journal Title: Multisensory Research Volume: 26 Issue: 4 Pages: 317-332
  • DOI: 10.1163/22134808-00002422
  • Peer Reviewed
• [Journal Article] Complexity of visual stimuli affects visual illusion induced by sound. (2013)
  • Author(s): Takeshima, Y. & Gyoba, J.
  • Journal Title: Vision Research Volume: 91 Pages: 1-7
  • DOI: 10.1016/j.visres.2013.07.013
  • Peer Reviewed
• [Journal Article] Visual filed asymmetry in the facilitation effects of audio-visual integration on visual representation. (2013)
  • Author(s): Takeshima, Y. & Gyoba, J.
  • Journal Title: The Japanese Journal of Psychonomic Science. Volume: 32 Pages: 139-140
  • Peer Reviewed
• [Journal Article] 即時の把握と数え上げ処理を促進させる視聴覚相互作用 (2013)
  • Author(s): 竹島康博・行場次朗
  • Journal Title: 電子情報通信学会技術報告 Volume: 203 Pages: 35-40
• [Journal Article] High-intensity sound increases the size of visually perceived objects (2013)
  • Author(s): Takeshima, Y. & Gyoba, J.
  • Journal Title: Attention, Perception, & Psychophysics Volume: 75 Issue: 3 Pages: 501-507
  • DOI: 10.3758/s13414-012-0403-z
  • Peer Reviewed
• [Journal Article] 視聴覚統合における時空間処理の視野非対称性 (2012)
  • Author(s): 竹島康博・行場次朗
  • Journal Title: 電子情報通信学会技術報告 Volume: 112 Pages: 1-6
  • NAID: 110009641966
• [Presentation] 分裂錯覚の生起に影響を与える視覚刺激の特性 (2014)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本基礎心理学会第33回大会
  • Place of Presentation: 首都大学東京
  • Year and Date: 2014-12-06 – 2014-12-07
• [Presentation] Hemispheric asymmetry in the auditory facilitation effect in dual-stream rapid serial visual presentation tasks (2014)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本基礎心理学会第33回大会サテライトオーラルセッション
  • Place of Presentation: 首都大学東京
  • Year and Date: 2014-12-05
• [Presentation] 幾何学図形により駆動される前知覚的情動処理による視覚処理の促進効果 (2014)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 電子情報通信学会（HIP）
  • Place of Presentation: 東北大学電気通信研究所
  • Year and Date: 2014-12-01 – 2014-12-02
• [Presentation] 視覚刺激の空間周波数は視聴覚間の同期時間窓を変容させる (2014)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本心理学会第78回大会
  • Place of Presentation: 同志社大学
  • Year and Date: 2014-09-10 – 2014-09-12
• [Presentation] Visual field asymmetry in auditory facilitation effects for visual identification and localization performance (2014)
  • Author(s): Takeshima, Y., & Gyoba, J.
  • Organizer: The 10th Asia-Pacific Conference on Vision
  • Place of Presentation: かがわ国際会議場
  • Year and Date: 2014-07-19 – 2014-07-22
• [Presentation] Alteration of visual speed and size perception by high-intensity sound and the applicability of these audio-visual illusions to product design (2014)
  • Author(s): Takeshima, Y., & Gyoba, J.
  • Organizer: 28th International Congress of Applied Psychology
  • Place of Presentation: Palais des Congres, Paris
  • Year and Date: 2014-07-08 – 2014-07-13
• [Presentation] 前知覚的情動処理によるターゲット検出の促進効果 (2014)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本認知心理学会第12回大会
  • Place of Presentation: 仙台国際センター
  • Year and Date: 2014-06-28 – 2014-06-29
• [Presentation] Differential effect of visual and auditory spatial cues on visual numerosity judgment (2014)
  • Author(s): Takeshima, Y., & Gyoba, J.
  • Organizer: Vision Sciences Society 14th Annual Meeting
  • Place of Presentation: St. Pete Beach, Florida
  • Year and Date: 2014-05-16 – 2014-05-21
• [Presentation] 幾何学図形を用いた知覚前情動処理による知覚促進 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本基礎心理学会第32回大会
  • Place of Presentation: 石川
  • Year and Date: 2013-12-07
• [Presentation] 聴覚刺激によって変容する物体の大きさ知覚 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 第5回多感覚研究会
  • Place of Presentation: 神奈川
  • Year and Date: 2013-11-22
• [Presentation] 即時の把握と数え上げ処理を促進させる視聴覚相互作用 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 電子情報通信学会(HIP)
  • Place of Presentation: 宮城
  • Year and Date: 2013-11-19
• [Presentation] 視覚と聴覚による注意誘導/誘引が及ぼす影響の違い (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本心理学会第77回大会
  • Place of Presentation: 北海道
  • Year and Date: 2013-09-21
• [Presentation] 聴覚刺激による即時数量把握処理の促進効果 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本認知心理学会第11回大会
  • Place of Presentation: 茨城
  • Year and Date: 2013-06-30
• [Presentation] 物体構成要素数による処理負荷が視聴覚統合に与える影響 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 東北心理学会第67回大会
  • Place of Presentation: 宮城
  • Year and Date: 2013-05-12
• [Presentation] 聴覚刺激によって変容する物体の大きさ知覚 (2013)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 第4回多感覚研究会
  • Place of Presentation: つくば
  • Year and Date: 2013-01-22
• [Presentation] 視聴覚統合における時空間処理の視野非対称性 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 電子情報通信学会(HIP)
  • Place of Presentation: 仙台
  • Year and Date: 2012-11-14
• [Presentation] 視聴覚統合による視覚表象形成の促進効果における視野非対称性 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本基礎心理学会第31回大会
  • Place of Presentation: 福岡
  • Year and Date: 2012-11-03
• [Presentation] 音による視覚表象形成の促進効果と物体構成要素数との関連 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本イメージ心理学会第12回大会
  • Place of Presentation: 仙台
  • Year and Date: 2012-09-29
• [Presentation] 聴覚刺激が注意の瞬きに与える影響における視野非対称性 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本心理学会第76回大会
  • Place of Presentation: 神奈川
  • Year and Date: 2012-09-11
• [Presentation] 聴覚刺激のピッチ変化が引き起こす視覚運動軌道錯覚 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 東北心理学会第66回大会
  • Place of Presentation: 新潟
  • Year and Date: 2012-07-14
• [Presentation] 聴覚情報によって変容する視覚運動軌道 (2012)
  • Author(s): 竹島康博・行場次朗
  • Organizer: 日本認知心理学会第10回大会
  • Place of Presentation: 岡山
  • Year and Date: 2012-06-03