2017 Fiscal Year Annual Research Report
Study of audio-visual integration process revealed by eye-tracking experiment with the "off-screen' sound presentation.
| Project/Area Number |
26330311
|
|---|
| Research Institution | Miyagi University |
|---|
Principal Investigator |
茅原 拓朗 宮城大学, 事業構想学群(部), 教授 (00345026)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | マルチモーダル / 視聴覚情報統合 / シーン認識 / オフスクリーン音 / 視線計測 |
|---|
| Outline of Annual Research Achievements |
本研究課題は、映画等の映像作品におけるオフスクリーン音に注目して、従来の研究が扱ってこなかった視野外に定位する音情報を含む視聴覚情報統合過程の包括的な理解を目指すものである。
初年度である平成26年度には、映像編集ソフトウェアを活用して映像とサウンドトラックを可視化することで実際の映像作品におけるサウンドデザインの定性的な分析を行い、次年度以降の実験的検討における条件設定等の指針を得た。
続く平成27年度、28年度には、初年度の定性的分析を受けて実験的検討を行った。まず、音源となる視覚情報がシーン内に存在する場合（オンスクリーン条件）と存在しない場合（オフスクリーン条件）を中心に映像と音の様々な組み合わせで視線計測を行うと同時に映像の主観的印象（意味解釈）を尋ねたところ、オンスクリーン条件では視線が音源となる視覚情報に集中したのに対し、オフスクリーン条件では視線が分散する一方、報告させた映像の解釈はオフスクリーン条件の方が報告の語数が多くまたストーリー性を帯びる傾向があることが分かった。さらに、この音の物語（narrative）喚起性を検証するために、実際のアニメーション動画像を用い、これをその作品を未見の被験者に対して呈示したときの視線計測と各シーンの意味内容を問う実験を行った。その結果、音を取り去った場合には、各シーンの意味内容が捉えにくくなったのみならず、場合によっては何のシーンか全く分からなくなるというような事態さえ観測された。
延長後の最終年度である平成29年度には、今度は映像自体の情報（運動情報）の視線およびシーンの意味解釈への寄与を評価するためにシネマグラフという映像手法を刺激作成に適用して実験的検討を行い、映像の運動情報だけで視線を誘導することはできるものの意味や物語の喚起性は音には及ばないことを確認した上で、研究期間全体の成果の取りまとめを行った。
|
Research Products
(1 results)
