高度感性情報の抽出・提示を実現する視聴覚音声コミュニケーションシステムの構築

2013 年度 研究成果報告書

• 研究課題/領域番号: 23500252
• 研究種目: 基盤研究(C)
• 配分区分: 基金
• 応募区分: 一般
• 研究分野: 感性情報学・ソフトコンピューティング
• 研究機関: 東北大学
• 研究代表者: 坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
• 研究期間 (年度): 2011 – 2013
• キーワード: 感性情報学 / 情報システム / 音声認知 / 視聴覚コミュニケーション

研究概要

本研究は，視聴覚音声通信において，音韻・感性情報の伝送に必要となる物理パラメータの抽出，定量化を進め，音韻情報と感性情報をより高精度，高品位に伝えることのできる高感性コミュニケーションシステムの構築を目指すものである。
これまでに，話者映像と音声の印象の一致度，調和度といった感性情報が音韻知覚に影響を及ぼすこと，さらに，その音韻情報の伝達において唇の内側の動きが極めて大きく寄与することが明らかとなった。これらの結果から，口唇付近の映像を中心に，話者の印象が正しく伝わるように映像を提示することで，話者の伝えたい情報を正しく伝える視聴覚音声コミュニケーションシステムが実現されると考えている。

研究成果

• [雑誌論文] The contribution of the detailed parts around talker's mouth for speech intelligibility (2014)
  • 著者名/発表者名: S. Sakamoto, G. Hasegawa, T. Abe, T. Ohtani, Y. Suzuki and K. Kawase
  • 雑誌名: Proc. The 21st International Congress on Sound and Vibration (ICSV21) ページ: 7
  • 査読あり
• [雑誌論文] 口唇以外の話者映像情報が無意味 3連音節を用いた音声明瞭度に与える影響 (2014)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 雑誌名: 日本音響学会講演論文集 巻: 2-P5-21 ページ: 641-642
• [雑誌論文] 無意味 3連音節を用いた音素別明瞭度における話者映像の寄与の分析 (2013)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 雑誌名: 電子情報通信学会技術研究報告 巻: HIP2013-60 ページ: 1-6
• [雑誌論文] 無意味 3連音節を用いた音素別明瞭度における視覚情報の寄与の分析 (2013)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 雑誌名: 日本音響学会聴覚研究会資料 巻: H-2013-102 ページ: 595-600
• [雑誌論文] Effect of consonance between features and voice impression on the McGurk effect (2012)
  • 著者名/発表者名: S.Sakamoto, H. Mishima and Y. Suzuki
  • 雑誌名: Interdisciplinary Information Sciences Journal 巻: 18 ページ: 83-85
  • 査読あり
• [学会発表] The contribution of the detailed parts around talker's mouth for speech intelligibility (2014)
  • 著者名/発表者名: S. Sakamoto, G. Hasegawa, T. Abe, T. Ohtani, Y. Suzuki and K. Kawase
  • 学会等名: Proc. The 21st International Congress on Sound and Vibration (ICSV21)
  • 発表場所: Beijing, China
  • 年月日: 20140713-17
  • 招待講演
• [学会発表] Contribution of detailed parts around talker's mouth for audio-visual speech perception (2014)
  • 著者名/発表者名: S. Sakamoto, G. Hasegawa, T. Abe, T. Ohtani, Y. Suzuki and K. Kawase
  • 学会等名: 167th Meeting of the Acoustical Society of America
  • 発表場所: Providence, USA
  • 年月日: 20140505-09
• [学会発表] 口唇以外の話者映像情報が無意味 3連音節を用いた音声明瞭度に与える影響 (2014)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 学会等名: 日本音響学会 2014年春季研究発表会
  • 発表場所: 日本大学
  • 年月日: 20140310-12
• [学会発表] 無意味 3連音節を用いた音素別明瞭度における話者映像の寄与の分析 (2013)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 学会等名: 電子情報通信学会ヒューマン情報処理(HIP)研究会
  • 発表場所: 東北大学
  • 年月日: 20131119-20
• [学会発表] 無意味 3連音節を用いた音素別明瞭度における視覚情報の寄与の分析 (2013)
  • 著者名/発表者名: 長谷川玄, 坂本修一, 阿部亨, 大谷智子, 鈴木陽一, 川瀬哲明
  • 学会等名: 日本音響学会聴覚研究会
  • 発表場所: 神戸セミナーハウス
  • 年月日: 20131010-11