• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Integration of auditory and visual information in human communication

Research Project

Project/Area Number 20300080
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Research Field Sensitivity informatics/Soft computing
Research InstitutionTeikyo University

Principal Investigator

MOCHIZUKI Kaname  帝京大学, 文学部, 教授 (80280543)

Co-Investigator(Kenkyū-buntansha) NAKAMURA Naoto  千葉工業大学, 情報科学部, 教授 (20201676)
OHNISHI Hitoshi  放送大学, ICT活用・遠隔教育センター, 准教授 (40280549)
Project Period (FY) 2008 – 2011
Project Status Completed (Fiscal Year 2011)
Budget Amount *help
¥12,220,000 (Direct Cost: ¥9,400,000、Indirect Cost: ¥2,820,000)
Fiscal Year 2011: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000)
Fiscal Year 2010: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Fiscal Year 2009: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2008: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Keywords感性認知科学 / 視聴覚統合 / 対人コミュニケーション / 映像音声の同期 / 実験心理学 / 通信品質 / テレコミュニケーション / リップシンク / 知覚音量の変化
Research Abstract

We examined the interactions between audio and visual information in human oral communications using the asynchrony detection tasks. We found some cultural factors in asynchrony detection such as native language of speakers and listeners, facial features, and so on. The understandability of the meaning of sentences are also seemed to be important for asynchrony detection. We also found the phenomenon in which the percepted volume of sound decrease when the audio and visual information is no synchronized. Our experiments on the contributions of the visual information to speech understandings shows there is large individual differences in utilization of visual information to speech cognition.

Report

(6 results)
  • 2011 Annual Research Report   Final Research Report ( PDF )
  • 2010 Annual Research Report   Self-evaluation Report ( PDF )
  • 2009 Annual Research Report
  • 2008 Annual Research Report
  • Research Products

    (53 results)

All 2012 2011 2010 2009 2008

All Presentation (53 results)

  • [Presentation] 視聴覚情報の非同期が音量知覚に与える影響(2)2012

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, HIP2011-84
    • Place of Presentation
      神戸
    • Year and Date
      2012-03-29
    • Related Report
      2011 Final Research Report
  • [Presentation] 口動作を編集した発話映像による音声聞き取りへの影響2012

    • Author(s)
      遠藤浩幸・林大作・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告, HIP2011-85
    • Place of Presentation
      神戸
    • Year and Date
      2012-03-29
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が音量知覚に与える影響(2)2012

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,HIP2011-84
    • Place of Presentation
      神戸
    • Year and Date
      2012-03-29
    • Related Report
      2011 Annual Research Report
  • [Presentation] 口動作を編集した発話映像による音声聞き取りへの影響2012

    • Author(s)
      遠藤浩幸・林大作・大西仁・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告,HIP2011-85
    • Place of Presentation
      神戸
    • Year and Date
      2012-03-29
    • Related Report
      2011 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(6)2012

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2011-67
    • Place of Presentation
      大阪
    • Year and Date
      2012-01-20
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(6)2012

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2011-67
    • Place of Presentation
      大阪
    • Year and Date
      2012-01-20
    • Related Report
      2011 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が音量知覚に与える影響2011

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, HIP2011-45
    • Place of Presentation
      仙台
    • Year and Date
      2011-11-10
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が音量知覚に与える影響2011

    • Author(s)
      大西仁・望月要
    • Organizer
      電子時報通信学会技術報告,HIP2011-45
    • Place of Presentation
      仙台
    • Year and Date
      2011-11-10
    • Related Report
      2011 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(5):使用言語が音源定位に与える影響2011

    • Author(s)
      望月要・大西仁
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      東京都市大学
    • Year and Date
      2011-03-16
    • Related Report
      2010 Annual Research Report
  • [Presentation] 伝送遅延が知覚・認知・行動に与える影響2011

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      東京
    • Year and Date
      2011-03-14
    • Related Report
      2011 Final Research Report 2010 Annual Research Report 2010 Self-evaluation Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(5):使用言語が音源定位に与える影響2011

    • Author(s)
      望月要・大西仁
    • Organizer
      電子情報通信学会総合大会
    • Place of Presentation
      東京
    • Year and Date
      2011-03-14
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(5):使用言語が音源定位に与える影響2011

    • Author(s)
      上望月要・大西仁
    • Organizer
      電子情報通信学会総合大会
    • Related Report
      2010 Self-evaluation Report
  • [Presentation] 使用言語が視聴覚相互作用に与える影響:同時性判断および音量知覚への影響2011

    • Author(s)
      大西仁・望月要
    • Organizer
      日本認知科学会第27回大会(3-20)
    • Related Report
      2010 Self-evaluation Report
  • [Presentation] 使用言語が視聴覚相互作用に与える影響:同時性判断および音量知覚への影響2010

    • Author(s)
      大西仁・望月要
    • Organizer
      日本認知科学会第27回大会, P3-20
    • Place of Presentation
      神戸
    • Year and Date
      2010-09-19
    • Related Report
      2011 Final Research Report
  • [Presentation] 使用言語が視聴覚相互作用に与える影響:同時性判断および音量知覚への影響2010

    • Author(s)
      大西仁・望月要
    • Organizer
      日本認知科学会第27回大会,P3-20
    • Place of Presentation
      神戸大学
    • Year and Date
      2010-09-19
    • Related Report
      2010 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(5)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2010-46
    • Place of Presentation
      福岡
    • Year and Date
      2010-09-10
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2010-46
    • Place of Presentation
      NHK福岡よかびじょんホール
    • Year and Date
      2010-09-10
    • Related Report
      2010 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(4.1)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2010-23
    • Place of Presentation
      北海道
    • Year and Date
      2010-07-08
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(4)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2010-21
    • Place of Presentation
      北海道
    • Year and Date
      2010-07-08
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(4)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2010-21
    • Place of Presentation
      北海道宗谷市
    • Year and Date
      2010-07-08
    • Related Report
      2010 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(4.1)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2010-23
    • Place of Presentation
      北海道宗谷市
    • Year and Date
      2010-07-08
    • Related Report
      2010 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(3):使用言語が音量知覚に与える影響2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会総合大会,B-11-24
    • Place of Presentation
      東北大学
    • Year and Date
      2010-03-19
    • Related Report
      2009 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(4):使用言語の意味理解、話速が音量知覚に与える影響2010

    • Author(s)
      望月要・大西仁
    • Organizer
      電子情報通信学会総合大会,B-11-28.
    • Place of Presentation
      東北大学
    • Year and Date
      2010-03-19
    • Related Report
      2009 Annual Research Report
  • [Presentation] 発話者の顔映像による音声聞き取りへの効果2010

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告,PRMU2009-278, HIP2009-163.
    • Place of Presentation
      鹿児島大学
    • Year and Date
      2010-03-16
    • Related Report
      2009 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(3)2010

    • Author(s)
      大西仁・山本由紀子・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2009-83
    • Place of Presentation
      京都
    • Year and Date
      2010-01-21
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(3)2010

    • Author(s)
      大西仁・山本由紀子・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2009-83.
    • Place of Presentation
      京都大学
    • Year and Date
      2010-01-21
    • Related Report
      2009 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(5)2010

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告(CQ2010-46)
    • Related Report
      2010 Self-evaluation Report
  • [Presentation] 発話理解における視覚情報の訳割2009

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会第7回QoSワークショップ, QW7-20
    • Place of Presentation
      東京
    • Year and Date
      2009-11-20
    • Related Report
      2011 Final Research Report
  • [Presentation] 一対比較による感性情報の評価2009

    • Author(s)
      山本由紀子・仁科エミ・大西仁
    • Organizer
      電子情報通信学会第7回QoSワークショップ, QW7-14
    • Place of Presentation
      東京
    • Year and Date
      2009-11-20
    • Related Report
      2011 Final Research Report
  • [Presentation] 一対比較による感性情報の評価2009

    • Author(s)
      山本由紀子・仁科エミ・大西仁
    • Organizer
      電子情報通信学会第7回QoSワークショップ,QW7-14.
    • Place of Presentation
      NICT小金井本部
    • Year and Date
      2009-11-20
    • Related Report
      2009 Annual Research Report
  • [Presentation] 発話理解における視覚情報の役割2009

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会第7回QoSワークシ・ツプ,QW7-20.
    • Place of Presentation
      NICT小金井本部
    • Year and Date
      2009-11-20
    • Related Report
      2009 Annual Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(2)2009

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2009-33
    • Place of Presentation
      高山
    • Year and Date
      2009-09-11
    • Related Report
      2011 Final Research Report
  • [Presentation] 発話理解における視覚情報の役割2009

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告, CQ2009-34
    • Place of Presentation
      高山
    • Year and Date
      2009-09-11
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声・映像の非同期が与える心理的効果:使用言語の影響(2)2009

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2009-33.
    • Place of Presentation
      高山市民文化会館
    • Year and Date
      2009-09-11
    • Related Report
      2009 Annual Research Report
  • [Presentation] 発話理解における視覚情報の役割2009

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告,CQ2009-34.
    • Place of Presentation
      高山市民文化会館
    • Year and Date
      2009-09-11
    • Related Report
      2009 Annual Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合(3)2009

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2009-12
    • Place of Presentation
      沖縄
    • Year and Date
      2009-04-17
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合(3)2009

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告,CQ2009-12.
    • Place of Presentation
      沖縄県青年会館
    • Year and Date
      2009-04-17
    • Related Report
      2009 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(2):非同期知覚に対する唇の動きの貢献2009

    • Author(s)
      望月要・大西仁・岡本悠花
    • Organizer
      電子情報通信学会総合大会講演論文集, B-11-28
    • Place of Presentation
      松山
    • Year and Date
      2009-03-20
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(1):視聴対象話者の相貌の影響2009

    • Author(s)
      大西仁・望月要・岡本悠花
    • Organizer
      電子情報通信学会総合大会講演論文集, B-11-27
    • Place of Presentation
      松山
    • Year and Date
      2009-03-20
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(1) : 視聴対象話者の相貌の影響2009

    • Author(s)
      望月要, 大西仁, 岡本悠花
    • Organizer
      電子情報通信学会総合大会講演論文集, B-11-27
    • Place of Presentation
      愛媛大学
    • Year and Date
      2009-03-20
    • Related Report
      2008 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(2) : 非同期知覚に対する唇の動きの貢献2009

    • Author(s)
      大西仁, 望月要, 岡本悠花
    • Organizer
      電子情報通信学会総合大会講演論文集, B-11-28
    • Place of Presentation
      愛媛大学
    • Year and Date
      2009-03-20
    • Related Report
      2008 Annual Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(1):使用言語が音量知覚に与える影響2009

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会総合大会, B-11-24
    • Place of Presentation
      仙台
    • Year and Date
      2009-03-19
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期が視聴覚統合に与える影響(4):用言語の意味理解、話速が音量知覚に与える影響2009

    • Author(s)
      望月要・大西仁
    • Organizer
      電子情報通信学会総合大会, B-11-28
    • Place of Presentation
      仙台
    • Year and Date
      2009-03-19
    • Related Report
      2011 Final Research Report
  • [Presentation] 発話者の顔映像による音声聞き取りへの効果2009

    • Author(s)
      伊東和廣・望月要・大西仁・中村直人
    • Organizer
      電子情報通信学会技術報告, PRMU2009-278, HIP2009-163
    • Place of Presentation
      鹿児島
    • Year and Date
      2009-03-16
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期が与える心理的効果:使用言語の影響2008

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, HIP2008-147
    • Place of Presentation
      仙台
    • Year and Date
      2008-12-18
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期が与える心理的効果 : 使用言語の影響2008

    • Author(s)
      大西仁, 望月要
    • Organizer
      電子情報通信学会技術報告, HIP2008-147.
    • Place of Presentation
      東北大学電気通信研究所
    • Year and Date
      2008-12-18
    • Related Report
      2008 Annual Research Report
  • [Presentation] 遅延の変動がユーザーの作業成績と遅延の知覚に与える影響2008

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2008-55
    • Place of Presentation
      郡山
    • Year and Date
      2008-11-14
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合(2)2008

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2008-30
    • Place of Presentation
      高松
    • Year and Date
      2008-09-25
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合(2)2008

    • Author(s)
      大西仁, 望月要
    • Organizer
      電子情報通信学会技術報告, CQ2008-30.
    • Place of Presentation
      四国電力総合研修所(高松)
    • Year and Date
      2008-09-25
    • Related Report
      2008 Annual Research Report
  • [Presentation] 視聴覚情報の非同期と視聴覚統合:洋画の吹替えにあまり違和感を覚えないのはなぜか?2008

    • Author(s)
      望月要・大西仁
    • Organizer
      日本認知科学会第25回大会, O5-1
    • Place of Presentation
      京都
    • Year and Date
      2008-09-06
    • Related Report
      2011 Final Research Report
  • [Presentation] 視聴覚情報の非同期と視聴覚統合 : 洋画の吹替えにあまり違和感を覚えないのはなぜか?2008

    • Author(s)
      望月要, 大西仁
    • Organizer
      日本認知科学会第25回大会
    • Place of Presentation
      同志社大学
    • Year and Date
      2008-09-06
    • Related Report
      2008 Annual Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合2008

    • Author(s)
      大西仁・望月要
    • Organizer
      電子情報通信学会技術報告, CQ2008-13
    • Place of Presentation
      釧路
    • Year and Date
      2008-07-17
    • Related Report
      2011 Final Research Report
  • [Presentation] 音声映像の非同期と視聴覚統合2008

    • Author(s)
      大西仁, 望月要
    • Organizer
      電子情報通信学会技術報告, CQ2008-13.
    • Place of Presentation
      釧路市生涯学習センター
    • Year and Date
      2008-07-17
    • Related Report
      2008 Annual Research Report

URL: 

Published: 2008-04-01   Modified: 2016-04-21  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi