オフスクリーン音に注目したシーン認識における視聴覚統合過程の検討

2015 Fiscal Year Research-status Report

• Project/Area Number: 26330311
• Research Institution: Miyagi University
• Principal Investigator: 茅原 拓朗 宮城大学, 事業構想学部, 教授 (00345026)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Keywords: シーン認識 / 視聴覚統合 / 視線計測 / 映画 / サウンドトラック / オフスクリーン音

Outline of Annual Research Achievements

平成27年度は計画通り、映像と音響の様々な組み合わせ条件において視線計測を行い、主に視線のヒートマッププロット(映像の場所ごとの視線密度をカラーグラデーションによってプロットしたもの）の分析から、映像に加えられた音が映像の解釈にどのような影響を与えるかについて検討した。
特に本研究課題で注目しているのは、映像に加えられた音の音源となる視覚情報がシーン内に存在する場合（オンスクリーン条件）と存在しない場合（オフスクリーン条件）の比較であるが、今年度は音の意味によってそれらを定義し、また単純化のために映像は静止画として視線計測実験を行った。また、オフスクリーン条件においても、画面内に直接音源となる視覚情報は存在しないが、シーン全体の状況は関係しているものと、シーン自体その音と関係がないと考えられるものの大きく2つの条件を用意し、視線計測と併せてどのようなシーンなのかその解釈も被験者に報告させた。
その結果、オンスクリーン条件では視線が音源となる視覚情報に集中したのに対し、オフスクリーン条件では視線の分布が分散したが、一方、報告させた映像の解釈はオフスクリーン条件の方が報告の語数が多くまたストーリー性を帯びる傾向があることが分かった。このことは、オンスクリーン音によって視線を誘導してある特定の解釈を導くことが出来ることに加え、オフスクリーン音が持つ別の機能（より複雑な物語（narrative）喚起性）をも示唆していると考えられる。次年度以降は、このようなオフスクリーンの機能にも注目して研究を継続する。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り、オンスクリーン条件とオフスクリーン条件で視線計測データの比較を行い、オンスクリーン音が視線を誘導して映像の解釈を方向付けられることが確認できたと同時に、オフスクリーン音の複雑な物語（narrative）喚起性という今後の研究の新たな展開にもつながる興味深い知見を得ることができた。そのような新知見も得られたことから、備品購入計画を変更して、脳の活動状態を記録できる装置（近赤外線組織酸素モニタ装置）を購入して、視線計測と組み合わせて音のより複雑な機能への効果を検討するための予備的な検討も開始している。

Strategy for Future Research Activity

平成27年度研究では、条件を単純化・限定して視線計測を行い、オンスクリーン音とオフスクリーン音が視線および映像によるシーンの解釈にどのように影響するかをそれぞれ浮き彫りにすることができた。それらを受けて、今後の研究では、条件をより実際の映像視聴事態に近づけることと、特にオフスクリーン音の物語喚起性という今年度成果で得られた新たな知見へのアプローチを開発していくことの大きく二つの方向でさらなる進展を目指す。
条件をより実際の映像視聴事態に近づけることにおいては、平成28年度はまず音の意味によるオンスクリーン／オフスクリーン性の定義に音の位置による定義も加えて検討し、さらには映像を動画としたり複数のショットからなるシークエンスとしたりすることで、条件を空間的にも時間的にも拡張していく。
またオフスクリーン音の物語喚起性については、平成27年度に購入した近赤外線組織酸素モニタ装置と視線計測を組み合わせて被験者からの言語的な報告のみならず、視線と脳機能計測を組み合わせた音の物語喚起性への影響を検討するアプローチの開発を行う。これは本課題終了後の展開もにらんだチャレンジでもある。

Causes of Carryover

備品購入に関しては今年度知見を受けて若干の計画変更を行い当初見込みを超えた執行額となったが、一方、研究成果発表においては招待講演となるなどで旅費が不要となり、執行残が生じた。

Expenditure Plan for Carryover Budget

次年度以降の成果発表および備品購入計画変更に伴う周辺整備等に活用する。

Research Products

• [Presentation] 映像を伝える音 (2015)
  • Author(s): 茅原拓朗
  • Organizer: 日本基礎心理学会公開シンポジウム
  • Place of Presentation: 慶應大学三田キャンパス（東京都港区）
  • Year and Date: 2015-10-25 – 2015-10-25
  • Invited