視聴覚音声情報の時空間相互作用に関する認知科学的研究
Project/Area Number |
09J08191
|
Research Category |
Grant-in-Aid for JSPS Fellows
|
Allocation Type | Single-year Grants |
Section | 国内 |
Research Field |
Cognitive science
|
Research Institution | Tohoku University |
Principal Investigator |
浅川 香 東北大学, 大学院・情報科学研究科, 特別研究員(DC2)
|
Project Period (FY) |
2009 – 2010
|
Project Status |
Completed (Fiscal Year 2010)
|
Budget Amount *help |
¥1,400,000 (Direct Cost: ¥1,400,000)
Fiscal Year 2010: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2009: ¥700,000 (Direct Cost: ¥700,000)
|
Keywords | 視聴覚音声 / 音韻同定 / 顔知覚 / 音声・非音声知覚 / 同時性知覚 / 正弦波音声 / 時間順序判断 |
Research Abstract |
本研究課題は,音声における視聴覚情報処理の時空間相互作用の解明を目的としており,時間的・空間的要因を操作した場合に,人の話す映像と音声を視聴する際の人間の知覚がどのような影響を受けるかを検討するものである。 この目的のために前年度は,単純化した聴覚音声刺激と顔画像を用いて,視聴覚間の時間的なずれへの感度を明らかにした。それに対し本年度は,空間的要因の操作として視覚刺激を単純化し,元画像の口唇部分と同様に時間変化する幾何学図形を作成した。これと自然音声を同時に提示し,図形が音声の聞き取り成績に与える影響を検討した。 人間が音声を知覚する際,特に音声が不明瞭な場合には,話者の顔画像を見ることによって音声の聞き取り成績が向上する。しかし,顔画像に含まれるどのような情報によって聞き取りの向上が起こっているのかという問題については不明な点が多い。本研究では,視覚情報のなかでも顔としての知覚されやすさに着目し,音声が不明瞭な場合に顔として知覚されやすい画像を提示されると聞き取り成績が向上するかを検討した。実験刺激として,前述のような元の顔画像の口唇部分の面積や縦横長と同様に変化する幾何学図形(楕円)を作成し,それを単独で提示する場合と,それに目や輪郭に相当する円や線分が付加された場合の音声聴取成績を比較した。その結果,どちらの条件においても画像を提示したことによる音声聴取成績の向上は確認されなかった。この結果は,少なくとも今回用いた図形刺激の場合には,音声聴取成績の向上に顔としての知覚されやすさは大きな影響を与えないということを示唆する。
|
Report
(2 results)
Research Products
(9 results)
-
-
-
[Presentation] Speech identification with time-varying visual information extracted from the lip area2011
Author(s)
Asakawa, K., Tanaka, A., Sakamoto, S., Abe, T., Iwaya, Y., Suzuki, Y.
Organizer
2011 RISP International Workshop on Nonlinear Circuits and Signal Processing (NCSP 11)
Place of Presentation
Tianjin, China
Year and Date
2011-03-03
Related Report
-
-
-
-
-
-