対人コミュニケーションにおける空気流触知覚の役割の解明

2014 Fiscal Year Research-status Report

• Project/Area Number: 26330315
• Research Institution: Teikyo University
• Principal Investigator: 望月 要 帝京大学, 文学部, 教授 (80280543)
• Co-Investigator(Kenkyū-buntansha): 大西 仁 放送大学, 教養学部, 准教授 (40280549)
• Project Period (FY): 2014-04-01 – 2018-03-31
• Keywords: 空気流触知覚 / 対人コミュニケーション / 音声知覚 / 言語知覚 / 実験心理学 / 感性工学

Outline of Annual Research Achievements

音声コミュニケーションにおいて，話し手の発声により生じる微弱な空気流が，触知覚を通して聞き手の音声知覚に影響を与えていることが2009年に発見された。これは，空気流触知覚が，視聴覚情報を補い，あるいは，感情や情動の伝達に貢献している可能性を示唆するものである。本研究は，(1) 音声コミュニケーションにおける，空気流触知覚の役割について，先ず，視覚・聴覚情報の補完機能に注目して，空気流触知覚と視聴覚情報の相互作用を実験的に明らかにし，(2) 次に，コミュニケーションにおける感情の伝達や共有に関して，空気流触知覚が果たす役割を明らかにすることを目指している。
今年度は，今後の各種心理実験に向けて日本語の母音と子音の発声と発声時の表情変化を高品位で記録した実験用動画像を制作・編集する作業を行なった。即ち唇音 (強い空気の吹き出しを伴う音) を含む日本語の子音を，正規の日本語発声法訓練を受けた話者に発音させ，その音声と，唇・顔面部分の動画像をハイビジョンで撮影した。次年度以降の研究の発展に備え，唇音と歯茎音を含め日本語の全ての音素について，各音声の単発，反復，各種母音・子音を前後に続けた無意味単語など，日本語の音声学的特徴と関連づけて，可能な限り多種・広範囲な収録を行なうことができた。マガーク効果など，発声時の唇の動きなどの視覚情報と，聴覚情報，そして今回検討する触知覚情報の相互作用を検証
する実験では，音声学的に適切な時間関係を維持しつつ，音声と唇の動き，触刺激呈示の組合せを変更する編集と刺激間のタイミング調整が必要になるが，この目的に適した編集機器の選定と技術的課題の抽出を現在進めている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究はほぼ申請時の計画通りに進行している。動画像編集用コンピュータシステムを，OS更新により変更せざるを得なくなった関係で，編集作業に僅かな遅れがあるが今後の研究経過全体に影響を及ぼすことはないと思われる。

Strategy for Future Research Activity

申請時の研究計画に従い，来年度前半には，音声学的に適切な時間関係を維持しつつ，音声と唇の動き，触刺激呈示の組合せを変更する (例えば，/ba/音と/ga/発声時の唇の動きを組合せる等) 編集技術を確立し，実験用映像の編集作業を行なう。この作業は帝京大学と放送大学が分担して進める。
後半は，マガーク効果の発展的追試実験を実施する。発声認知における視聴覚情報の相互作用を示す典型的現象であるマガーク効果は，日本語を母国語とする視聴者では生じ難い (Sekiyama &Tohkura, 1991) とする結果や，個人差の大きいことを指摘する報告 (氏家ら, 2011) がある。そこで，前年度に制作した実験用映像の品質確認を兼ねて，マガーク効果の追試実験を行ない，日本人視聴者においても，欧米人と同等程度の混同率を得られる実験条件を探索する。また視聴者が，唇の動きを観察していたことを保証するための実験操作を検討し，安定してマガーク効果が得られる標準的実験条件を決定する。　従来，マガーク効果の実験では，音声を単発的に呈示していたが，本研究では，単発呈示に加えて，連続反復，他の子音や母音と組み合わせて無意味な単語とした場合など，注目する音素だけでなく，その前後の音素との組合せとマガーク効果の関係についても検証したい。併せて回答に要する時間を測定して，これを，聞き取りの確信度あるいは難易度の間接的指標として評価し，先行研究との比較を試みる。この心理学的実験の計画と準備は帝京大学が担当し，実験は放送大学と分担して実施する。

Causes of Carryover

1万円未満の次年度使用額が生じているが，これは無理な年度内使用を避けた為に過ぎず実質的には計画通り予算を使用している。

Expenditure Plan for Carryover Budget

来年度は，ハイビジョン動画像制作用にコンピュータおよびソフトウェアを購入し，必要に応じて撮影機材を追加する。後半は，大学生参加者を用いた心理実験を実施の為に消耗品や参加者謝金などが必要になる。