沈黙のジャック・タチ：視線・GSR計測を用いた映像における音の役割の実験的検討
| Project/Area Number |
21K12565
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90010:Design-related
|
|---|
| Research Institution | Miyagi University |
|---|
Principal Investigator |
茅原 拓朗 宮城大学, 事業構想学群, 教授 (00345026)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
|
|---|
| Keywords | 物語認知 / 映画 / サウンドトラック / 説話機能 / 視線計測 / 皮膚電気反射 / 質的研究法 / 作品分析 / 音響デザイン / マルチモーダル知覚 / GSR |
|---|
| Outline of Research at the Start |
私たちが目にするほとんどの映像作品には音がついているにもかかわらず、私たちがそれらの作品の物語を理解したり、私たちの中に何らかの感情的な反応が生じる時の、音の役割とそれらの基盤となる音と映像のマルチモーダルな知覚・認知過程の理解は進んでいない。本研究では、質的研究法（QDA）を応用した実際の作品中における音と映像の詳細な作品分析と、視線計測・GSR（Galvanic Skin Response：皮膚表面の電気抵抗値を測定することで感情的な反応を検出できる）・言語報告を組み合わせた認知神経科学の手法による実験的検証を通じて、それらの包括的な理解を目指す。
|
| Outline of Annual Research Achievements |
本研究では，映画等の映像表現の物語認知・理解に対して音が果たしている役割(説話機能)について，質的研究手法(観察等)と生理(視線)計測を含む実験的手法 の両面から包括的な理解を目指すことを目的としている。研究期間3年目にあたる令和5年度では，初年度令和4年度までの成果を受けて，実験的アプローチによる検討をさらに進める。
特に今年度は計画通り皮膚電気反射（GSR）測定を音の効果の生理(客観)指標として取り入れ，視線計測に情動反応も併せて見ていくことで，映像の音が物語理解に与える影響のより包括的な理解に向けた検討に着手した。令和4年度までに見いだされていた，物語としての典型を示すいくつかの映画のシーンについてまずは音があるときとないときでGSRと視線を併せて計測しながら，そのシーンの物語理解についての言語報告を記録した。結果として，予想通り音の有無により視線に加え情動反応の変化が生じることが確認できたが，一方で，目的変数たる映像の音についてより精緻な記述（説話機能による類型化）が必要なことも明らかになった。これを受けて，GSRも新たな指標としつつ情動反応の観点から再び映画作品（部分）の作品分析を行って（目的変数としての）音のさらなる類型化にも着手した。このことについては，研究期間を延長して（学術振興会承認済み）さらに作品分析を進め，一定以上に詳細な類型化がなされた段階で（R6年度後半を予定），さらにGSR計測と視線計測実験を行う。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度より計画通りGSR（皮膚電気反射）測定を音の効果の生理(客観)指標として取り入れ，視線計測に情動反応も併せて見ていくことで，映像の音が物語理解に与える影響のより包括的な理解に向けた検討に着手することができた。再び作品分析をより精緻化する必要は生じているものの，情動という観点での作品分析にフィードバックできる知見が得られた。以上のことから，概ね順調に進展していると考えられ る。
|
| Strategy for Future Research Activity |
今年度の検討で得られた知見（課題）から研究実施期間を1年間延長し，GSRも新たな指標としつつ情動反応の観点から再び映画作品（部分）の作品分析を行って，映画の音のより詳細な類型化を行った上，視線計測とGSRを組み合わせた映画の音が物語理解に与える影響のより包括的な理解に向けた検討をさらに進める。
|
Report
(3 results)
Research Products
(1 results)
