2023 Fiscal Year Annual Research Report
オンライン・コミュニケーションにおける視聴覚統合の時空間特性
| Project/Area Number |
22H01106
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Tokyo Woman's Christian University |
|---|
Principal Investigator |
田中 章浩 東京女子大学, 現代教養学部, 教授 (80396530)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | コミュニケーション / オンライン / 視聴覚統合 / 時空間特性 / 感情 |
|---|
| Outline of Annual Research Achievements |
Zoom等のウェブ会議システムを利用したオンラインでのコミュニケーション場面では，音声と映像にタイミング差や速度差が生じたり，映像のサイズや解像度が十分ではなかったりすることも多い。本研究では，このような最適ではない状況における人間の視聴覚統合の時空間特性を言語理解と感情知覚の両面から検討する。2年目である令和5年度は，研究1および研究2を中心に検討を進め，視聴覚の時間・空間操作が言語理解および感情知覚に及ぼす影響について，日本人およびオランダ人の参加者を対象とした実験を実施した。
研究1-3では言語理解における視聴覚の時間特性について検討した。映像と音声のタイミング差および速度差を操作して，人物が説明文を発話している動画を呈示し，視聴後に人物の発話内容に関する質問に回答させた。研究1-4では言語理解における視聴覚の空間特性について検討した。話者の表示サイズおよび解像度を操作して，人物が説明文を発話している動画を呈示し，視聴後に人物の発話内容に関する質問に回答させた。実験の結果，視聴覚のタイミング差の拡大と画像の縦横幅の縮小に関しては映像の利得効果が早い段階で消失する一方で，速度差の拡大と解像度の低下に対しては頑健で，速度差は音声伸長120％であっても映像による利得効果が確認され，解像度は量子化50×50ボクセルであっても映像の利得効果が確認された。
研究2ではオランダ・ライデン大学・Mariska Kret教授の研究室に滞在して，オランダ人参加者を対象に日本人参加者と同様の実験を実施した。感情知覚では時間特性を操作すると日本人には悪影響が大きく，空間特性を操作するとオランダ人に悪影響が大きいとの仮説を検証した結果，おおむね仮説を支持する結果が得られた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本研究では，最適ではない状況における人間の視聴覚統合の時空間特性を言語理解と感情知覚の両面から検討している。研究協力者との議論を効率的に推進するため，Slackを活用している。実験の準備及び実施にあたっては研究補助者に謝金を支給し，効率的に推進している。その結果として，これまで大きな問題なく，当初の計画以上に進展している。3項目のうち，項目1および項目2の検討が完了し，項目3も2024年度で終了するめどが立っている。
|
| Strategy for Future Research Activity |
ここまで当初の計画以上に進展しているため，2024年度には，2025年度に予定していた項目も先行して実施する予定である。
|
