| 研究課題/領域番号 |
21K12565
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分90010:デザイン学関連
|
|---|
| 研究機関 | 宮城大学 |
|---|
研究代表者 |
茅原 拓朗 宮城大学, 事業構想学群, 教授 (00345026)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
2021年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
|
|---|
| キーワード | 物語認知 / 映画 / サウンドトラック / 説話機能 / 視線計測 / 質的研究法 / 作品分析 / 音響デザイン / マルチモーダル知覚 / GSR |
|---|
| 研究開始時の研究の概要 |
私たちが目にするほとんどの映像作品には音がついているにもかかわらず、私たちがそれらの作品の物語を理解したり、私たちの中に何らかの感情的な反応が生じる時の、音の役割とそれらの基盤となる音と映像のマルチモーダルな知覚・認知過程の理解は進んでいない。本研究では、質的研究法（QDA）を応用した実際の作品中における音と映像の詳細な作品分析と、視線計測・GSR（Galvanic Skin Response：皮膚表面の電気抵抗値を測定することで感情的な反応を検出できる）・言語報告を組み合わせた認知神経科学の手法による実験的検証を通じて、それらの包括的な理解を目指す。
|
| 研究実績の概要 |
本研究では、映画等の映像表現の物語認知・理解に対して音が果たしている役割(説話機能)について、質的研究手法(観察等)と生理(視線)計測を含む実験的手法の両面から包括的な理解を目指すことを目的としている。研究期間2年目にあたる令和4年度では、初年度令和3年の成果を受けて、半実験的アプローチによる検討をさらに深めるとともに、それらをもとにした実験的検討を開始する。
具体的には、実験刺激となる映画作品をさらに広げながら、それらのシーンを実験参加者が視聴する際にサウンドトラックを再生した場合としない場合(無音)の時で、そのシーンに対する参加者の物語理解がどのように変化するかを、参加者が受け止めたストーリーや登場人物の心情等を言語報告させ、質的データ分析アプリケーションを用いて分析を行った。さらに、音が実験参加者（視聴者）の最終的な映像の物語理解（映像体験）にもたらす影響を媒介するひとつの変数として視線を仮定し、先述の半実験的手法で明らかになった音の説話機能の定性的理解をもとに、実際に音が映像視聴時の視線のあり方に影響し、さらにはそのことが物語理解に影響するような因果的な影響関係が認められるかを実験的に検討した。
その結果、作品を広げた場合にも音の映像の物語理解への影響が一定の傾向を持つことがさらに確認された。また、それらの音の影響の定性的理解をもとにAOI（Area of Interest：視線計測の際のターゲット領域）を動的に設計して計測したところ、音の有無によってAOIに対する固視量が有意に異なる（音の有無によってどこをどの程度見るかが変わる）ことが明らかになり、映画の音がその物語理解に影響するとき、視線がなんらかの媒介項として機能していることが実験的に示唆された。これらの成果は査読付き論文として公表された。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
令和3年度（計画初年度）に計画をやや前倒しして開始した半実験的検討を令和4年度もさらに作品選択の幅を広げて進めることで、音がある場合とない場合での実験参加者の刺激映像の物語理解や登場人物の造形・心情理解に対する影響をさらに一般化できたと同時に、それらの定性的な理解に基づいた視線計測による実験的検討を計画通り開始し、音が映像視聴時の視線のあり方に影響することも明らかにすることができた。以上のことから概ね順調に進展していると考えられる。
|
| 今後の研究の推進方策 |
令和4年度までに視線計測まで概ね順調に進展しており、ここまでの音の説話機能についての定性的検討と視線計測は作品のジャンル等を広げながら継続しつつ、令和5年度は当初計画どおりGSR測定装置による皮膚電気反射（≒情動反応）も音の効果の生理（客観）指標として取り入れて、音が映像の物語理解に及ぼす影響についてより客観的かつ包括的な理解を目指す。
また、令和5年度は計画上の最終年度にあたるため、年度後半ではここまでの研究成果をとりまとめ、国際会議での公表や論文化の準備を行う。
|
