• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Measurement of L2 pronunciation deviation and L2 listening disfluency and its application to prosody training for smooth international communication

Research Project

Project/Area Number 23K17459
Research Category

Grant-in-Aid for Challenging Research (Pioneering)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionThe University of Tokyo

Principal Investigator

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

Co-Investigator(Kenkyū-buntansha) 齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
中西 のりこ  神戸学院大学, グローバル・コミュニケーション学部, 教授 (80512285)
Project Period (FY) 2023-06-30 – 2028-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥25,740,000 (Direct Cost: ¥19,800,000、Indirect Cost: ¥5,940,000)
Fiscal Year 2027: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2026: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2025: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2024: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2023: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Keywords発音差異 / 聴取崩れ / 韻律トレーニング / 国際的コミュニケーション / シャドーイング / オーバーラッピング / 外国語音声教育 / 発音差異と聴取崩れ / 外国語教育 / 音声言語情報処理
Outline of Research at the Start

英語は唯一の国際語であり,「世界諸英語」と呼ばれるように,文法,語彙,発音など多様化している。本研究では革新的な英語教育コンテンツの構築を狙う。1)世界にはどのような英語変種があり,自身の英語とどう異なるのかを教示し,2)各学習者に対して,どのような英語発音,文法構造,韻律構造が組み合わさると自身の聴取は崩れやすいのか,について学ぶ場を与えるとともに,当該学習者の聴取力を効率的に向上さる。更に,3)その学習者の音声を世界中の他者が聞いた時に,誰の聴取がどう崩れるのかについて学ぶ場を与えるとともに,当該学習者の音声了解度を効率的に向上させるべく,オンライン韻律訓練を実施する環境を提供する。

Outline of Annual Research Achievements

英語は唯一の国際語であるが,母語が異なる場合に彼らの英語音声は,様々な点において異なる(世界諸英語)。本研究では発音の多様性(分節的多様性,韻律的多様性)に着眼し,a) ある学習者の英語音声は,多様な世界諸英語話者にどのように聞き取られ,また,b) その学習者は多様な世界諸英語話者の音声をどのように聞き取っているのか,について客観的に計測し,可視化する方法について検討した。a) に関しては,当該学習者に世界諸英語音声をシャドーさせ,シャドー音声の崩れの大きさを,当該学習者の聴取の非円滑さ(listening disfluency)として定量化した。b) に対しても同様に,当該学習者音声を世界諸英語話者群にシャドーさせ,当該学習者音声に対する多様な他者の聴取非円滑さを定量化した。a), b) の定量化において,提示した音声に対して,それを聴取した聴取者から,当該内容の読み上げ音声も取得できるため,提示音声話者とそれを聴取した聴取者間の発音差異についても定量化した。即ち話し手・聞き手間において,両者の発音差異の大きさと,聴取の崩れの大きさの両方を計測した。この両者を使うことで,自身と発音の異なる英語音声をどの程度聞き取れるのか(認知の頑健さがどのくらいあるのか)を検討できる。28名の英語非母語話者からデータを集め,a), b) 及び発音差異を用いて,「英語を用いたグローバルコミュニケーション」という観点からその円滑さの様子を可視化した(Communicability Chart, C-chart)。可視化パターンを精査することで,6つの型を定義することができた。これらの研究と並行して,より伝わりやすい英語発音となるよう,主として韻律に着眼した韻律オーバーラッピングに基づく発音矯正システムを構築し,東京大学工学部の授業に導入した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は,発音差異と聴取崩れの計測とそこから得られる知見の積み重ねと,主として韻律に着眼した発音矯正トレーニングを融合させることに主眼があるが,両方において十分な成果が得られている。

Strategy for Future Research Activity

発音差異と聴取崩れの計測においては,音声を音素事後確率を用いた Phonetic Posteiorgram に変換し(PPG)検討しているが,この方法では韻律的側面が考慮されなくなる。自己教師あり学習型の音声表象を用いることで韻律も考慮された計測が可能になると思われるので,その利用を検討する。韻律トレーニングであるが,本年度の検討で,韻律のみに基づくトレーニングでは発音の癖(分節的な癖)が全く変わらない様子が観測されており,分節的な矯正も一部導入する。分節的な矯正を極端に行うと,それは外国語音声習得と言うよりも方言学習という側面が強くなるため,どこまで矯正の必要があるのか,については「十分他者に伝わる英語となればよい」という方針で進める。これらの検討を進め,本プロジェクトの3年目に,発音差異・聴取崩れの計測と音声トレーニングとの統合を図り,学習者自身の音声が他者にどのくらい通じるのか,通じないのか,後者の場合は必要な程度において,音声トレーニングを実施する方法を検討する。

Report

(2 results)
  • 2023 Comments on the Screening Results   Research-status Report
  • Research Products

    (30 results)

All 2024 2023

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 4 results) Presentation (18 results) (of which Int'l Joint Research: 8 results,  Invited: 6 results) Book (8 results)

  • [Journal Article] Automatic Prediction of Language Learners' Listenability Using Speech and Text Features Extracted from Listening Drills2023

    • Author(s)
      Gao Yingxiang、Choi Jaehyun、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • Journal Title

      Proc. INTERSPEECH

      Volume: - Pages: 979-983

    • DOI

      10.21437/interspeech.2023-2541

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Density and Entropy of Spoken Syllables in American English and Japanese English Estimated with Acoustic Word Embeddings2023

    • Author(s)
      Shozui Yusuke、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • Journal Title

      Proc. SLaTE

      Volume: - Pages: 131-135

    • DOI

      10.21437/slate.2023-25

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Learners' Prosodic Control in the Task of Expressive Storytelling and Predicted Native Listeners' Impressions of the Learners' Speech2023

    • Author(s)
      Shoda Chihiro、Gao Yingxiang、He Yurun、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • Journal Title

      Proc. SLaTE

      Volume: - Pages: 46-50

    • DOI

      10.21437/slate.2023-10

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Sensitivity to Phonemic Contrasts and Insensitivity to Non-phonemic Contrasts of Various Speech Representations Tested for L2 Speech Assessment2023

    • Author(s)
      Sun Haitong、Gao Yingxiang、Shozui Yusuke、Ma Tong、Minematsu Nobuaki
    • Journal Title

      Proc. SLaTE

      Volume: - Pages: 31-35

    • DOI

      10.21437/slate.2023-7

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Online L2 Speech Training Drills with Interactive Gamification to Help Learners Improve Their Skills of Speech Perception and Speech Production2024

    • Author(s)
      Nobuaki Minematsu
    • Organizer
      Generative Artificial Intelligence for Teaching Languages Other Than English
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] ChatGPT-Based System for Young Students to Practice Oral Q&A at Their First International Conference2024

    • Author(s)
      Mayuko Aiba, Nobuaki Minematsu
    • Organizer
      Generative Artificial Intelligence for Teaching Languages Other Than English
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] 母語話者音声コーパスのみを用いた外国語訛りを有する合成音声の生成2024

    • Author(s)
      恩田健太郎,朴浚鎔,峯松信明,齋藤大輔
    • Organizer
      日本音響学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] シャドーイングに基づく学習者音声に対する意味的聴取崩れの主観的ラベリング2024

    • Author(s)
      崔載鉉,張露元,高英翔,峯松信明,齋藤大輔,中西のりこ
    • Organizer
      日本音響学会音声研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] 母語の異なる英語学習者間のシャドーイングに基づく発音差異と聴解崩れの相関分析2024

    • Author(s)
      冨田優,高英翔,齋藤大輔,峯松信明,中西のりこ
    • Organizer
      日本音響学会音声研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] 国際会議における質疑応答練習を目的とした ChatGPT による質問生成とその評価2024

    • Author(s)
      相場真由子、齋藤大輔、峯松信明
    • Organizer
      情報処理学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] A Unified Framework to Improve Learners' Skills of Perception and Production Based on Speech Shadowing and Overlapping2023

    • Author(s)
      Nobuaki Minematsu, Noriko Nakanishi, Yingxiang Gao, Haitong Sun
    • Organizer
      INTERSPEECH (demo session)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] ベトナム人学習者音声に見られる 「母語話者の聴取を崩す」音声的特徴に関する分析2023

    • Author(s)
      金村久美,峯松信明
    • Organizer
      CASTEL/J
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 未来を志向することばの教育(1)2023

    • Author(s)
      佐藤慎司, 峯松信明, 金村久美, 吉田真樹, 中村香苗, モラレス松原礼子
    • Organizer
      CASTEL/J
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] インタラクティブな韻律可視化・スコア化を伴うオーバーラッピング型音声訓練とその効果2023

    • Author(s)
      峯松信明,中西のりこ
    • Organizer
      外国語教育メディア学会(LET)
    • Related Report
      2023 Research-status Report
  • [Presentation] 学習者による英語絵本読み聞かせ音声に観測される韻律的特徴と感情明瞭度に関する分析2023

    • Author(s)
      峯松信明,正田千宙,高英翔,中西のりこ,齋藤大輔
    • Organizer
      日本音声学会全国大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 英語聴取力・発話力の自動分析・評価機能を有するオンライン教材の開発2023

    • Author(s)
      峯松信明,高英翔,中西のりこ,井上雄介
    • Organizer
      日本音声学会研究例会
    • Related Report
      2023 Research-status Report
  • [Presentation] 聴取力と発話力をシームレスに強化するインタラクティブ性及びゲーム性の高い英語音声トレーニング教材の開発とその効果2023

    • Author(s)
      峯松信明,高英翔,中西のりこ,井上 雄介,水野 宏明
    • Organizer
      電子情報通信学会音声研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] Enhancing Listening Skills in Global English Varieties Through Building a Shadowing Community2023

    • Author(s)
      Noriko Nakanishi
    • Organizer
      The 10th International Conference on English Language Teaching in China
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Activities for English Oral Communication Training and Assessment: Tailored to Different Proficiency Levels, for Different Purposes, to Improve Different Competencies2023

    • Author(s)
      Noriko Nakanishi
    • Organizer
      The 10th AILA East-Asia Forum
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] ハイブリッド授業課題による英語発話の「流暢さ」と「発音」に対する意識づけ2023

    • Author(s)
      中西のりこ, 大竹翔子, ニコラスマスティ, タムショウイン, 海老原由貴
    • Organizer
      私立大学情報教育協会 2023年度 ICT利用による教育改善研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] ICERC ―A longitudinal motivation study based on intercollegiate ER circle activities―2023

    • Author(s)
      Imura, M, Otsuka, S, Nakanishi, N, Caldwell, M
    • Organizer
      The Sixth World Congress on Extensive Reading
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 外国語を「聞く耳」「話す口」の獲得を技術的に支援する --日本人が誰でも英語ペラペラになる未来はあるのか?ないのか?--2023

    • Author(s)
      峯松信明
    • Organizer
      IEICE ICT PIONEERS WEBINAR
    • Related Report
      2023 Research-status Report
    • Invited
  • [Book] Global Perspectives Reading & Writing Book 12024

    • Author(s)
      中西 のりこ, Nicholas Musty, 大竹 翔子, Tam Shuet Ying, Mary Ellis
    • Total Pages
      96
    • Publisher
      成美堂
    • ISBN
      9784791972845
    • Related Report
      2023 Research-status Report
  • [Book] Global Perspectives Reading & Writing Book 22024

    • Author(s)
      中西 のりこ, Nicholas Musty, 大竹 翔子, Tam Shuet Ying, Mary Ellis
    • Total Pages
      96
    • Publisher
      成美堂
    • ISBN
      9784791972852
    • Related Report
      2023 Research-status Report
  • [Book] Big Dipper English Communication III2024

    • Author(s)
      石川慎一郎、中西のりこ、Peter J. Hawkes、ドールトン フランク、磯部達彦、真田弘和、増見敦、青田祐子、西岡誠士(中西は全章 発音担当)
    • Total Pages
      127
    • Publisher
      数研出版
    • ISBN
      9784410841965
    • Related Report
      2023 Research-status Report
  • [Book] Crosslink 言語聴覚療法学テキスト 音響・音声学2023

    • Author(s)
      竹内京子,稲田朋晃編(峯松は2.4, 2.5, 2.6, 2.7節担当)
    • Total Pages
      152
    • Publisher
      Medial View
    • ISBN
      9784758320689
    • Related Report
      2023 Research-status Report
  • [Book] 英語シャドーイング100本ノック : 決定版2023

    • Author(s)
      中西 のりこ
    • Total Pages
      143
    • Publisher
      コスモピア
    • ISBN
      9784864541930
    • Related Report
      2023 Research-status Report
  • [Book] Global perspectives : listening & speaking Book 12023

    • Author(s)
      中西のりこ, Musty Nicholas, 大竹翔子, Shuet Ying Tam, 海老原由貴, 藤村敬次
    • Total Pages
      96
    • Publisher
      成美堂
    • ISBN
      9784791972616
    • Related Report
      2023 Research-status Report
  • [Book] Global perspectives : listening & speaking Book 22023

    • Author(s)
      中西のりこ, Musty Nicholas, 大竹翔子, Shuet Ying Tam, 海老原由貴, 藤村敬次
    • Total Pages
      96
    • Publisher
      成美堂
    • ISBN
      9784791972623
    • Related Report
      2023 Research-status Report
  • [Book] Big Dipper English Communication II2023

    • Author(s)
      石川慎一郎、中西のりこ、Peter J. Hawkes、ドールトン フランク、磯部達彦、真田弘和、増見敦、旗谷涼子、青田祐子、西岡誠士(中西は全章 発音担当)
    • Total Pages
      151
    • Publisher
      数研出版
    • ISBN
      9784410841910
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-07-04   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi