2014 Fiscal Year Research-status Report

オフスクリーン音に注目したシーン認識における視聴覚統合過程の検討

Research Project

Project/Area Number	26330311
Research Institution	Miyagi University
Principal Investigator	茅原拓朗宮城大学, 事業構想学部, 教授 (00345026)
Project Period (FY)	2014-04-01 – 2017-03-31
Keywords	シーン認識 / 視聴覚統合 / 映画 / サウンドトラック / オフスクリーン音
Outline of Annual Research Achievements	平成26年度は計画通り、映像編集ソフトウェアを利用して映像とサウンドトラックを時間軸上で可視化することによって映像作品におけるサウンドデザイン、特にオフスクリーン音の用いられ方の定性的な分析を行った。その際、サウンドデザイナー（映画制作の場合、多くは編集者）へのインタビュー文献（マイケル・オンダーチェ（2011）『映画もまた編集である~ウォルター・マーチとの対話~』みすず書房）を参照して文献中で触れられている映画作品（『イングリッシュ・ペイシェント』『地獄の黙示録』等のウォルター・マーチ編集あるいはサウンドデザイン作品）を取りあげることで、デザイナーの制作意図ともつきあわせながら分析を行った。さらに、主に批評的な観点ではあるが本研究課題と同様にサウンドトラックの詳細な分析を行っている文献（平倉圭（2010）『ゴダール的方法』インスクリプト）で触れられている作品についても取りあげて分析を行った。その結果、オフスクリーン音は、音響制作において「アンビエンス」と呼ばれている総体としての背景音・環境音と、なんらかの特定の音源からの音に大きく2分できそうなことが明らかとなった。またシーン認識においてそれぞれが果たす役割があり、背景音が当該シーンが置かれる「文脈」を与えるのに対し、特定音源の音はなんらかの暗示であったり以降のシーンへの伏線としての機能を果たしていることが示唆された。次年度以降は、当該年度に新たに明らかになったこれらの分類とシーン理解におけるそれぞれの機能を作業仮説として検討をさらに進めていきたい。他方、当該年度の分析を通じて、ミックスダウンされたサウンドトラックの中からオンスクリーン音を特定し独立して操作することの難しさも明らかになった。このことはある程度予想されていたことではあるが、改めて今後の検討課題の一つとして着目していきたい。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason おおむね計画通り、文献の記述ともつきあわせながら映画のサウンドトラックの定性的分析を行い、次年度以降の研究の基礎となるオフスクリーン音の分類および作業仮説の構築を行うことができた。予備的な視線計測には着手できなかったが、これはミックスダウンされたサウンドトラックにおけるオフスクリーン音の特定の難しさという新たな課題が見いだされたことに起因しており、課題の洗い出しという当該年度の目標に照らせばむしろ進展があったと考えている。
Strategy for Future Research Activity	当初計画では、2年目にあたる平成27年度は、シーン内の視覚オブジェクトと音の意味的関係および時空間的関係を変化させながら視線計測を行い、またなんらかの主観評価も併せて行うことで、オフスクリーン音の操作的定義を明らかにすることでさらにその後の実験的分析につなげる計画であった。しかし1年目の平成26年度に、ミックスダウンされたサウンドトラックの中からオフスクリーン音を特定することの困難さも明らかになったことから、当初計画していた通り映像作品視聴時の視線計測も行いつつ、例えば「認知地図」の考え方を音に援用して、主観的なサウンドトラックを「描かせる」ような新たな音像の記述法の開発を行って、より実験的・定量的な分析に向けた研究基盤の構築を目指す。
Causes of Carryover	前述のように、オフスクリーン音の特定の難しさという新たな課題が見いだされたことによって、分析の内容を若干変更し、また成果の公表を次年度以降に持ち越し旅費を使用しなかったことが主たる理由である。
Expenditure Plan for Carryover Budget	前述した今年度の推進方策に従い、視線計測のための環境構築（物品費）および新たな主観的記述法の開発のための環境構築（物品費）と、調査・実験協力謝金（人件費・謝金）を中心に研究費を使用する。また、平成26年度分や経過的なものも含め積極的な成果公表や意見交換を行う（旅費）。