| 研究分担者 |
行場 次郎 東北大学, 大学院・文学研究科, 教授 (50142899)
川瀬 哲明 東北大学, 大学院・医学系研究科, 教授 (50169728)
櫻井 研三 東北学院大学, 教養学部, 教授 (40183818)
杉田 陽一 独立行政法人産業技術総合研究所, 脳神経情報研究部門, 研究グループ長 (40221311)
岩谷 幸雄 東北大学, 電気通信研究所, 准教授 (10250896)
|
|---|
| 研究概要 |
本研究では,高度なマルチモーダル情報提示システムの実現のために,マルチモーダル情報の時空間統合処理過程の解明を目指している。本年度は,次の項目に関して検討した。
(1)静止した視覚刺激が移動する聴覚刺激により動いて知覚されるという聴覚誘導性視運動知覚(Sound Induced Visual Motion : SIVM)を世界に先がけて発見した。これまでは豊富な空間情報を持つ視覚が聴覚の空間知覚を変容させるという現象がほとんどであり,この発見はマルチモーダル情報統合の際に,人間にとって妥当なものが取捨選択されて統合するということを示す有力な証拠となるものである。
(2)迫真性,臨場感,自然性の感性情報のうち,臨場感という言葉から得られる印象をアンケート調査により明らかにした。アンケート結果から,臨場感は単に辞書的な「あたかもその場にいる感じ」を表すだけでなく,「心を揺さぶる」といった情動に訴えるものを含むという興味深い結果が得られた。さらに,提示される刺激の物理特性を操作し,これら三つの感性情報の差異を知覚実験により明らかにした。この知見は,本研究プロジェクトの最終目標である迫真性,臨場感,自然性のモデル化に直接つながる重要な知見と考えられる。
(3)視聴覚音声刺激の時間統合メカニズムに関し,これまで考えられていた時間窓の範囲以上に視聴覚刺激をずらしても,視覚刺激が音声刺激の聴き取りに寄与するという結果が明らかとなった。音声聴取に関連する処理は,単純な視聴覚刺激の処理に比べ高次のものであり,時空間統合モデルのような比較的高次の処理も含むであろう知覚モデルを構築の際に有用な知見となると思われる。
これら以外にも,視聴覚定位不斉の知覚メカニズムの検討や,音空間知覚における頭部運動の寄与,サルを対象とした視聴覚統合の発達の解明などの研究を進め,時空間統合モデルの構築,深化を進めている。
|
