音声認識における視覚情報活用機序の解明-心理的測定とPET画像による解析-

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13671764
• Research Institution: Tohoku University
• Principal Investigator: 川瀬 哲明 東北大学, 大学院・医学系研究科, 助教授 (50169728)
• Co-Investigator(Kenkyū-buntansha): 山口 慶一郎 東北大学, サイクロトロン・ラジオアイソトープセンター, 助手 (40210356) ; 鈴木 陽一 東北大学, 電気通信研究所, 教授 (20143034)
• Keywords: マルチモーダル情報処理 / 音声認識 / 高次機能画像 / マガーク効果

Research Abstract

音声の認識においては、聴覚からの情報だけではなく視覚などからの情報も効果的に利用され、いわゆるマルチモーダルな情報処理が行われている。本研究では本現象を聴覚、視覚心理的解析と、高次機能画像の組み合わせにより、その脳内メカニズムを検討する。
本年度は、(1)音声認識における視覚情報と聴覚情報の相互作用が出現しやすい条件を聴覚、視覚心理的解析による検討、と(2)PETによる高次機能メカニズム解析の際に用いる刺激材料の検討と作成、を行った。
音声認識における視覚情報と聴覚情報が出現しやすい条件としては、当初背景雑音下の音声聴取による読唇とマガーク効果を考えていたが、背景雑音自体がPET画像に影響を与える可能性が示唆された為、前者についてはlow-pass filterにより作成した劣化音声を用いて心理的実験を行った。視覚情報の影響が音声知覚に影響を与えやすい条件は、音声の種類によって異なり、一般に唇音での効果がより出現しやすい傾向を認めた。ただ、心理的な測定で認められる結果の違い(たとえば唇音vs非唇音)が果たして、高次機能的には異なるか否かについては、来年度高次機能画像で検討すべき項目であると考えられた。
一方、マガーク効果の方は、後続母音により効果の発現率が異なった。当初、聴覚「ba」、視覚「ga」の組み合わせ提示を使用予定であったが、心理的解析検討の結果、後続母音は「e」の方が安定した効果発現効果を示す傾向を認めたので、次年度のPET用の提示刺激には、聴覚「be」、視覚「ge」の組み合わせを用いることとした。
来年度は、本年度の聴覚、視覚心理的検討で観察された現象の違いがどのような脳内メカニズムにより生じているかをPETによる高次機能解析により検討予定である。