Sound design method to improve visual media productions

• Project/Area Number: 25560006
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Allocation Type: Multi-year Fund
• Research Field: Design science
• Research Institution: Kyushu University
• Principal Investigator: Shin-ichiro Iwamiya 九州大学, 芸術工学研究科(研究院), 教授 (60112356)
• Co-Investigator(Kenkyū-buntansha): KIM KI-HONG 駿河台大学, メディア情報学部, 講師 (90584665)
• Project Period (FY): 2013-04-01 – 2016-03-31
• Project Status: Completed (Fiscal Year 2015)
• Budget Amount: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000); Fiscal Year 2015: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2014: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2013: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 音 / 映像 / 調和 / 連続測定 / 間 / 笑い / 同期 / 文脈効果 / デザイン / 音楽 / 感性 / 意味的調和 / 構造的調和

Outline of Final Research Achievements

A series of rating experiments were conducted to clarify sound design strategy in visual media productions. The regularity of auditory and visual accents and the context effects affects the perceived congruence based on synchronization between auditory and visual accents. The context effects were also shown in the case of perceived congruence aroused from correspondence of auditory and visual emotions. When music was inserted after funny events or emotional speeches, the most appropriate duration around 1 second was determined to emphasize laugh or emotion. The present study contributes to easy and effective productions of visual media products.

Research Products

• [Journal Article] 音楽と画像の調和感における文脈効果 (2016)
  • Author(s): 劉沙紀，孫陶洋子，蔡祺，岩宮眞一郎
  • Journal Title: 音楽知覚認知研究 Volume: 21
  • NAID: 130008141111
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 映像作品における音楽と映像の調和感と印象の連続測定 (2016)
  • Author(s): 劉沙紀，矢萩徹，大西英治，岩宮眞一郎
  • Journal Title: 音楽知覚認知研究 Volume: ２１
  • NAID: 130008141105
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 音と映像のアクセントの同期による調和と印象の一致による調和の形成過程の比較 (2014)
  • Author(s): 藤山沙紀，瀧下郁之，矢萩徹，岩宮眞一郎
  • Journal Title: 音楽知覚認知研究 Volume: 20 Pages: 3-14
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] 音高の変化と映像の変化の調和感と音と映像の呈示方向の影響 (2014)
  • Author(s): 金基弘，郭暁，藤山沙紀，岩宮眞一郎
  • Journal Title: 日本音響学会誌 Volume: 70 Pages: 534-537
  • NAID: 110009863257
  • Peer Reviewed / Acknowledgement Compliant
• [Journal Article] テレビ番組における笑いを演出する効果音および音楽の効果 (2014)
  • Author(s): 金基弘、森文哉、岩宮眞一郎
  • Journal Title: メディアと情報資源 Volume: 21(2) Pages: 15-28
  • NAID: 120005615208
  • Open Access / Acknowledgement Compliant
• [Journal Article] 黒澤明の映像作品における音楽と映像を対比させた手法の効果 (2013)
  • Author(s): 藤山沙紀，江間琴音，岩宮眞一郎
  • Journal Title: 日本音響学会誌 Volume: 69 Pages: 387-396
  • NAID: 110009635324
  • Peer Reviewed
• [Presentation] 映像作品における台詞後の映像の切り替えと音楽の最適付加時点の関係 (2016)
  • Author(s): 稲田環，林祥子，岩宮眞一郎
  • Organizer: 日本音響学会2016年春季研究発表会
  • Place of Presentation: 桐蔭横浜大学，横浜市
  • Year and Date: 2016-03-09
• [Presentation] 音と映像のアクセントの同期性，周期性が音と映像の調和に及ぼす影響 (2016)
  • Author(s): 高菁晶，劉沙紀，岩宮眞一郎
  • Organizer: 日本音響学会聴覚研究会
  • Place of Presentation: 九州大学，福岡市
  • Year and Date: 2016-03-04
• [Presentation] テレビドラマなどにおける台詞を受けたリアクション表情に音楽を付加する際の最適付加時点 (2015)
  • Author(s): 林祥子，稲田環，劉沙紀，岩宮眞一郎
  • Organizer: 日本音響学会九州支部第11回学生のための研究発表会
  • Place of Presentation: 九州工業大学，北九州市
  • Year and Date: 2015-11-28
• [Presentation] 映像作品における台詞終わりに付加する音楽の最適付加時点－音楽と映像の調和感が及ぼす影響－ (2015)
  • Author(s): 稲田環，藤山沙紀，岩宮眞一郎
  • Organizer: 日本音響学会2015年秋季研究発表会
  • Place of Presentation: 会津大学，会津市
  • Year and Date: 2015-09-16
• [Presentation] 映像メディアにおける（（（音）））の価値 (2015)
  • Author(s): 岩宮眞一郎
  • Organizer: 日本騒音制御工学会平成27年秋季研究発表会
  • Place of Presentation: 成蹊大学，武蔵野市
  • Year and Date: 2015-09-10
• [Presentation] アニメ映画「ヱヴァンゲリヲン新劇場版：破」の音楽の用いられ方について (2015)
  • Author(s): 篠木典彦，岩宮眞一郎
  • Organizer: 日本音響学会音楽音響研究会
  • Place of Presentation: 九州大学，福岡市
  • Year and Date: 2015-08-22
• [Presentation] 映像作品における台詞終わりに付加する音楽の最適付加時点 (2015)
  • Author(s): 稲田環，藤山沙紀，岩宮眞一郎
  • Organizer: 日本音響学会音楽音響研究会
  • Place of Presentation: 九州大学，福岡市
  • Year and Date: 2015-08-22
• [Presentation] 音と映像の時間的規則性が調和感の形成に及ぼす影響 (2015)
  • Author(s): 劉沙紀，瀧下郁之，岩宮眞一郎
  • Organizer: 日本音響学会音楽音響研究会
  • Place of Presentation: 九州大学，福岡市
  • Year and Date: 2015-08-22
• [Presentation] 笑いを演出する映像に付加するシンボリックな音楽の最適な挿入タイミング (2015)
  • Author(s): 金基弘，久保美紀子，岩宮眞一郎
  • Organizer: 日本音響学会音楽音響研究会
  • Place of Presentation: 九州大学，福岡市
  • Year and Date: 2015-08-22
• [Presentation] 笑いを誘発する映像に付加するシンボリックな音楽の最適な挿入タイミング (2015)
  • Author(s): 金基弘，久保美紀子，岩宮眞一郎
  • Organizer: 韓国音響学会研究発表会
  • Place of Presentation: 釜山，韓国
  • Year and Date: 2015-05-14
• [Presentation] 映像メディアにおける視聴覚融合 (2015)
  • Author(s): 金基弘，岩宮眞一郎
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-16 – 2015-03-18
  • Invited
• [Presentation] 音と映像のアクセントの同期による調和感の形成に作用する要因の検討 (2015)
  • Author(s): 瀧下郁之，藤山沙紀，岩宮眞一郎
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-16 – 2015-03-18
• [Presentation] 映像作品における台詞の感情の違いと音楽の最適付加時点の関係 (2015)
  • Author(s): 稲田環，藤山沙紀，志村聖子，岩宮眞一郎
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-16 – 2015-03-18
• [Presentation] 笑いを演出する映像に付加するシンボリックな音楽の最適な付加位置 (2015)
  • Author(s): 久保美紀子，金基弘，岩宮眞一郎
  • Organizer: 日本音響学会2015年春季研究発表会
  • Place of Presentation: 中央大学後楽園キャンパス
  • Year and Date: 2015-03-16 – 2015-03-18
• [Presentation] バラエティ番組における「笑い」を誘発する音の効果 －主観評価と唾液アミラーゼ分泌量による検討－ (2014)
  • Author(s): 金基弘，岩宮眞一郎，森文哉
  • Organizer: 日本音響学会2014年秋季研究発表会
  • Place of Presentation: 北海学園大学 (札幌)
  • Year and Date: 2014-09-03 – 2014-09-05
• [Presentation] Effectiveness of Sound Effects and Music to Induce Laugh in Comical Entertainment Television Show (2014)
  • Author(s): Ki-Hong Kim, Shin-ichiro Iwamiya, and Fumiya Mori
  • Organizer: ICMPC 13-APSCOM 5
  • Place of Presentation: Yonsei University in Seoul
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] Comparison of the Process for Creating Perceived Congruence between a Moving Picture and Sound Based on Synchronization of Auditory and Visual Accents and Similarity of Auditory and Visual Affective Impressions (2014)
  • Author(s): Saki Fujiyama, Fumiyuki Takishita, Toru Yahagi, and Shin-Ichiro Iwamiya
  • Organizer: ICMPC 13-APSCOM 5
  • Place of Presentation: Yonsei University in Seoul
  • Year and Date: 2014-08-04 – 2014-08-08
• [Presentation] 音楽と画像の調和感における文脈効果 (2014)
  • Author(s): 藤山沙紀，孫陶洋子，蔡祺
  • Organizer: 日本音楽知覚認知学会平成26年度春季研究発表会
  • Place of Presentation: 愛知県立大学長久手キャンパス
  • Year and Date: 2014-05-24 – 2014-05-25
• [Presentation] 視聴覚素材の前半の印象が後半の印象に及ぼす影響 (2014)
  • Author(s): 孫陶洋子，藤山沙紀，岩宮眞一郎
  • Organizer: 音楽音響研究会
  • Place of Presentation: 九州大学大橋キャンパス
• [Presentation] テレビドラマにおける音楽と映像の関係が示す物語の構造～2012年夏期放送のテレビドラマの分析～ (2014)
  • Author(s): 稲田環，岩宮眞一郎
  • Organizer: 音楽音響研究会
  • Place of Presentation: 九州大学大橋キャンパス
• [Presentation] 音高の変化と映像の変化の調和感と音と映像の呈示方向の相互作用 (2014)
  • Author(s): 金基弘，郭暁，藤山沙紀，岩宮眞一郎
  • Organizer: 日本音響学会2014年春季研究発表会
  • Place of Presentation: 日本大学駿河台キャンパス
• [Presentation] 映像作品における音楽の付加位置と台詞の表す感情の関係 (2013)
  • Author(s): 稲田環，藤山沙紀，金基弘
  • Organizer: 日本音響学会2013年秋季研究発表会
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 音と映像の同期による調和と印象の一致による調和の形成過程の比較 (2013)
  • Author(s): 藤山沙紀，瀧下郁之，矢萩徹
  • Organizer: 日本音響学会2013年秋季研究発表会
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 映像コンテンツにおける「笑い」を誘発する効果音と音楽の要因 (2013)
  • Author(s): 金基弘，森文哉，岩宮眞一郎
  • Organizer: 日本音響学会2013年秋季研究発表会
  • Place of Presentation: 豊橋技術科学大学
• [Presentation] 2012年夏期放送のテレビドラマにおける音と映像の関係の分析 (2013)
  • Author(s): 稲田環，岩宮眞一郎
  • Organizer: 日本音響学会九州支部第10回学生のための研究発表会
  • Place of Presentation: 九州大学大橋キャンパス
• [Presentation] 音と映像の同期に基づく調和感の形成過程の検討 (2013)
  • Author(s): 瀧下郁之，藤山沙紀，矢萩徹，岩宮眞一郎
  • Organizer: 日本音響学会九州支部第10回学生のための研究発表会
  • Place of Presentation: 九州大学大橋キャンパス
• [Presentation] 映像作品における音楽と映像の調和感と印象の連続測定 (2013)
  • Author(s): 藤山沙紀，矢萩徹，大西英治，岩宮眞一郎
  • Organizer: 聴覚研究会資料
  • Place of Presentation: 長崎大学文教キャンパス
• [Book] 視聴覚融合の科学 (2014)
  • Author(s): 岩宮眞一郎，北川智利， 積山薫， 金基弘， 高木創， 笠松広司 著
  • Total Pages: 224
  • Publisher: コロナ社
• [Book] 視聴覚融合の科学，まえがき，第3章 映像メディアにおける視聴覚融合 (2014)
  • Author(s): 岩宮眞一郎（編集），金基弘
  • Total Pages: 70
  • Publisher: コロナ社
• [Book] The Psychology of Music in Multimedia, Chapter 7 Perceived congruence between auditory and visual elements in multimedia (2013)
  • Author(s): Shin-ichiro Iwamiya
  • Total Pages: 24
  • Publisher: Oxford University Press (United Kingdom)
• [Book] 音楽の知覚と認知II，「サウンド・デザイン：感性に訴える音をつくる」 (2013)
  • Author(s): 岩宮眞一郎，金基弘
  • Total Pages: 28
  • Publisher: 音楽世界（韓国）
• [Remarks] 岩宮 眞一郎（いわみや しんいちろう）のホームページ
  • URL: http://www.design.kyushu-u.ac.jp/~iwamiya/
• [Remarks] •九州大学研究者情報/岩宮眞一郎
  • URL: http://hyoka.ofc.kyushu-u.ac.jp/search/faculty2_j.cgi?Key_3=@%25b7%25dd%25bd%25d1%25b9%25a9%25b3%25d8%25b8%25a6%25b5%25e6%25b1%25a1%25b2%25bb%25b6%25c1%25c9%25f4%25cc%25e7&ID=K002302
• [Remarks] 岩宮眞一郎のホームページ
  • URL: http://www.design.kyushu-u.ac.jp/~iwamiya/