A Modeling of Speech Prosody for the Support of Second Language Acquisition

2010 Fiscal Year Self-evaluation Report

• Project/Area Number: 20300069
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Research Field: Perception information processing/Intelligent robotics
• Research Institution: National Institute of Information and Communications Technology (2009-2012); Advanced Telecommunications Research Institute International (2008)
• Principal Investigator: KATO Hiroaki Advanced Telecommunications Research Institute International, ユニバーサルメディア研究センター超臨場感システムグループ, 専門研究員 (20374093)
• Project Period (FY): 2008 – 2012
• Keywords: 知覚認知学習 / 音声言語情報処理 / 聴覚 / 時間的側面 / 韻律 / 音声言語習得 / 国際情報交換 / 大韓民国:タイ:アメリカ

Research Abstract

本研究の目的は、音声の韻律的側面の知覚について人間が内的に行う処理を模擬した計算アルゴリズムを構築し、それを利用して第二言語習得を支援することである。より具体的には、リズムやテンポなどの時間構造と基本周波数の時間変化パターンを対象に、学習者の発話の良し悪しを客観的に評価するしくみを提供する。
本研究では、先行研究で得た時間構造検出モデルを用い、これに基本周波数と時間との相互作用の部分を加えた言語非依存の(1)心理物理モデルを構築する。並行して、各言語に固有の韻律知覚特性、時間的側面であればリズムの単位など、を記述した(2)言語適応モデルを構築する。以上を統合して人に代わって音声の韻律の良し悪しを判断する(3)客観評価モデルを作る。さらに、第二言語習得における効果を明らかにするため、言語学習場面における実験によって(4)モデルの実証を行う。

Research Products

• [Journal Article] 語彙が与える印象にもとづく対話韻律生成 (2011)
  • Author(s): グリーンバーグ陽子, 加藤宏明, 津崎実, 匂坂芳典
  • Journal Title: 日本音響学会誌 67 Pages: 65-74
  • Peer Reviewed
• [Journal Article] Model-based automatic evaluation of second-language learner's English segmental duration characteristics. (2010)
  • Author(s): Chatchawarn, H., Kato, H., Sagisaka, Y.
  • Journal Title: Acoust.Sci.Technol. 31 Pages: 267-277
  • Peer Reviewed
• [Journal Article] Analysis on paralinguistic prosody control in perceptual impression space using multiple dimensional scaling. (2009)
  • Author(s): Greenberg, Y., Shibuya, N., Tsuzaki, M., Kato, H., Sagisaka, Y.
  • Journal Title: Speech Commun. 50 Pages: 585-593
  • Peer Reviewed
• [Journal Article] Auditory sensitivity to temporal deviations from perceptual isochrony : Comparison of the starting point and ending point of acoustic change. (2008)
  • Author(s): Tanaka, S., Tsuzaki, M., Aiba, E., Kato, H.
  • Journal Title: Jpn.Psychol.Res. 50 Pages: 223-231
  • Peer Reviewed
• [Journal Article] Judgment of perceptual synchrony between two pulses and verification of its relation to cochlear delay by an auditory model. (2008)
  • Author(s): Aiba, E., Tsuzaki, M., Tanaka, S., Unoki, M.
  • Journal Title: Jpn.Psychol.Res. 50 Pages: 204-213
  • Peer Reviewed
• [Presentation] 非母語話者による日本語長短音素対立の知覚と学習-英語話者と韓国語話者の比較- (2011)
  • Author(s): 加藤宏明, 鮮于媚, 田嶋圭一, 山田玲子, 匂坂芳典
  • Organizer: 促音に関する国際ワークショップ
  • Place of Presentation: 神戸大学,神戸(招待講演)
  • Year and Date: 2011-01-09
• [Presentation] Computational modeling of timing control and its application to objective evaluation of the second language proficiency. (2010)
  • Author(s): Sagisaka, Y., Kato, H., Tsuzaki, M., Nakamura, S., Chachawarn, H.
  • Organizer: 21st Conference of Electronic Speech Signal Processing
  • Place of Presentation: Beuth Hochschulefur Technik, Berlin, Germany(招待講演)
  • Year and Date: 2010-09-08
• [Presentation] 日本語学習者による促音の知覚学習方法に関する検討-呈示文脈と発話速度を中心に- (2010)
  • Author(s): 鮮于媚, 田嶋圭一, 加藤宏明, 匂坂芳典
  • Organizer: 音声文法研究会月例会
  • Place of Presentation: 音声言語研究所,奈良
  • Year and Date: 2010-07-17
• [Presentation] 日本語長短音素に対する母語話者と非母語話者の知覚特性 (2009)
  • Author(s): 加藤宏明
  • Organizer: 関西音韻論研究会(PAIK)例会
  • Place of Presentation: 神戸大学,神戸(招待講演)
  • Year and Date: 2009-07-04
• [Presentation] Are computer 'ears' better than human ears at evaluating a foreign accent in a second language?, Picker Institute Symposium and Science Colloquium Series (2008)
  • Author(s): Kato, H.
  • Organizer: Tongues, hands, and brains : Language learning and development
  • Place of Presentation: Colgate Univ.,NY, USA).USA).(招待講演)
  • Year and Date: 2008-10-10