沈黙のジャック・タチ：視線・GSR計測を用いた映像における音の役割の実験的検討

2023 Fiscal Year Research-status Report

• Project/Area Number: 21K12565
• Research Institution: Miyagi University
• Principal Investigator: 茅原 拓朗 宮城大学, 事業構想学群, 教授 (00345026)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: 物語認知 / 映画 / サウンドトラック / 説話機能 / 視線計測 / 皮膚電気反射

Outline of Annual Research Achievements

本研究では，映画等の映像表現の物語認知・理解に対して音が果たしている役割(説話機能)について，質的研究手法(観察等)と生理(視線)計測を含む実験的手法 の両面から包括的な理解を目指すことを目的としている。研究期間3年目にあたる令和5年度では，初年度令和4年度までの成果を受けて，実験的アプローチによる検討をさらに進める。
特に今年度は計画通り皮膚電気反射（GSR）測定を音の効果の生理(客観)指標として取り入れ，視線計測に情動反応も併せて見ていくことで，映像の音が物語理解に与える影響のより包括的な理解に向けた検討に着手した。令和4年度までに見いだされていた，物語としての典型を示すいくつかの映画のシーンについてまずは音があるときとないときでGSRと視線を併せて計測しながら，そのシーンの物語理解についての言語報告を記録した。結果として，予想通り音の有無により視線に加え情動反応の変化が生じることが確認できたが，一方で，目的変数たる映像の音についてより精緻な記述（説話機能による類型化）が必要なことも明らかになった。これを受けて，GSRも新たな指標としつつ情動反応の観点から再び映画作品（部分）の作品分析を行って（目的変数としての）音のさらなる類型化にも着手した。このことについては，研究期間を延長して（学術振興会承認済み）さらに作品分析を進め，一定以上に詳細な類型化がなされた段階で（R6年度後半を予定），さらにGSR計測と視線計測実験を行う。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度より計画通りGSR（皮膚電気反射）測定を音の効果の生理(客観)指標として取り入れ，視線計測に情動反応も併せて見ていくことで，映像の音が物語理解に与える影響のより包括的な理解に向けた検討に着手することができた。再び作品分析をより精緻化する必要は生じているものの，情動という観点での作品分析にフィードバックできる知見が得られた。以上のことから，概ね順調に進展していると考えられ る。

Strategy for Future Research Activity

今年度の検討で得られた知見（課題）から研究実施期間を1年間延長し，GSRも新たな指標としつつ情動反応の観点から再び映画作品（部分）の作品分析を行って，映画の音のより詳細な類型化を行った上，視線計測とGSRを組み合わせた映画の音が物語理解に与える影響のより包括的な理解に向けた検討をさらに進める。

Causes of Carryover

研究の精緻化のために研究期間を延長したための次年度使用額が生じた。次年度は，GSRも新たな指標としつつ情動反応の観点から再び映画作品（部分）の作品分析を行って（目的変数としての）音のさらなる記述・類型化を行い，それをうけて令和6年度後半を目標にGSR計測と視線計測実験に再び着手する。
そのため，作品分析のための作品購入費，実験や実験データの記録等のための各種消耗品費，成果公表費に使用する。