• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

Development of L2 speech training infrastructure for objective measurement of speech comprehensibility based on native speakers' shadowing

Research Project

Project/Area Number 18H04107
Research InstitutionThe University of Tokyo

Principal Investigator

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

Co-Investigator(Kenkyū-buntansha) 牧野 武彦  中央大学, 経済学部, 教授 (00269482)
山内 豊  創価大学, 教育学部, 教授 (30306245)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
Project Period (FY) 2018-04-01 – 2022-03-31
Keywords外国語教育 / シャドーイング / 瞬時的了解度 / 定量的評価 / ポステリオグラム / 発音評価 / 深層学習 / 音声認識
Outline of Annual Research Achievements

外国語学習の主目的は対象言語を用いた他者との音声コミュニケーションであるが,その言語を日常使う機会に恵まれなければ(自分の発声が相手に円滑に伝わっているのかどうかを知る機会に恵まれなければ),自分よがりの母語訛りが強く残り,聴取者にとって聞き取り難い発音となることがある。その一方で,対象言語の母語話者のような発音を身に付けることを学習目標とすることは,現実的には不適切である。多くの教師は「十分伝わる発音」を身につけることを重要視している。
聞き手は(例えば母語話者は),学習者発声のどこで聞き取りが妨げられているのか。これが計測できれば,相手に通じている度合い(intelligibility, comprehensibility)に基づく発音評価が実現できる。本研究ではこれを実現するためにintelligibility に着眼し,1) 母語話者を聞き手とし,彼らに学習者音声をシャドー(聴取しながらの復唱)させ,2) そのシャドー音声の崩れを聴取の崩れと解釈し,3) 日本人英語音声のどこで,どのくらい聴取が崩れているのか,を予測するモデルを構築した。評価者としては,日本人英語への慣れを考慮し,約10年英語圏に滞在している応用言語学を専攻とする日本人,日本語中級レベルの米国人,日本語を学んだことがない米国人,に対して約750発話をシャドーイングさせ,シャドー崩れの様子を時系列としてコーパス化した。それに基づいて,どのような言語背景を持つ聴取者が,どのような日本人英語音声に対して,そして,何回目の聴取において,提示音声のどこで,どのくらい聴取が崩れるのか,を予測するモデルを構築することができた。
一連の研究に対して,日本音声学会,日本音響学会,電子情報通信学会から学生発表賞を受賞することができ,非常に高く評価された。国際的にも top conference に採択された。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

  • Research Products

    (38 results)

All 2023 2022 2021

All Journal Article (9 results) (of which Peer Reviewed: 9 results,  Open Access: 9 results) Presentation (27 results) (of which Int'l Joint Research: 4 results,  Invited: 2 results) Patent(Industrial Property Rights) (2 results)

  • [Journal Article] Automatic Prediction of Intelligibility of Words and Phonemes Produced Orally by Japanese Learners of English2023

    • Author(s)
      Zhu Chuanbo、Kunihara Takuya、Saito Daisuke、Minematsu Nobuaki、Nakanishi Noriko
    • Journal Title

      Proc. Spoken Language Technology2022

      Volume: 1 Pages: 1029-1036

    • DOI

      10.1109/SLT54892.2023.10023307

    • Peer Reviewed / Open Access
  • [Journal Article] Gradual Improvements Observed in Learners' Perception and Production of L2 Sounds Through Continuing Shadowing Practices on a Daily Basis2022

    • Author(s)
      Kunihara Takuya、Zhu Chuanbo、Minematsu Nobuaki、Nakanishi Noriko
    • Journal Title

      Proc. INTERSPEECH2022

      Volume: 1 Pages: 1303-1307

    • DOI

      10.21437/Interspeech.2022-101

    • Peer Reviewed / Open Access
  • [Journal Article] Detection of Learners' Listening Breakdown with Oral Dictation and Its Use to Model Listening Skill Improvement Exclusively Through Shadowing2022

    • Author(s)
      Kunihara Takuya、Zhu Chuanbo、Saito Daisuke、Minematsu Nobuaki、Nakanishi Noriko
    • Journal Title

      Proc. INTERSPEECH2022

      Volume: 1 Pages: 4461-4465

    • DOI

      10.21437/Interspeech.2022-440

    • Peer Reviewed / Open Access
  • [Journal Article] Domain Adaptation and Language Conditioning to Improve Phonetic Posteriorgram Based Cross-Lingual Voice Conversion2022

    • Author(s)
      Hsu Pin-Chieh、Minematsu Nobuaki、Saito Daisuke
    • Journal Title

      Proc. APSIPA2022

      Volume: 1 Pages: 950-956

    • DOI

      10.23919/APSIPAASC55919.2022.9979918

    • Peer Reviewed / Open Access
  • [Journal Article] 未習パッセージを用いた英語シャドーイングの効果2022

    • Author(s)
      中西 のりこ、峯松 信明、椢原 卓弥
    • Journal Title

      外国語教育メディア学会機関誌

      Volume: 59 Pages: 77~105

    • DOI

      10.24539/let.59.0_77

    • Peer Reviewed / Open Access
  • [Journal Article] Lexical Density Analysis of Word Productions in Japanese English Using Acoustic Word Embeddings2021

    • Author(s)
      Ando Shintaro、Minematsu Nobuaki、Saito Daisuke
    • Journal Title

      Proc. INTERSPEECH2021

      Volume: 1 Pages: 4433-4437

    • DOI

      10.21437/Interspeech.2021-853

    • Peer Reviewed / Open Access
  • [Journal Article] Comparison of accent theories of Japanese using E2E speech synthesis in terms of their effectiveness for learners to acquire natural prosody2021

    • Author(s)
      Minematsu Nobuaki、Yoshizawa Fuki、Kumano Tadashi、Kurihara Kiyoshi、Saito Daisuke
    • Journal Title

      Proc. ISAPh2021

      Volume: 1 Pages: 53-58

    • DOI

      10.21437/ISAPh.2021-9

    • Peer Reviewed / Open Access
  • [Journal Article] Multi-Granularity Annotation of Instantaneous Intelligibility of Learners' Utterances Based on Shadowing Techniques2021

    • Author(s)
      Zhu Chuanbo、Hakoda Ryo、Saito Daisuke、Minematsu Nobuaki、Nakanishi Noriko、Nishimura Tazuko
    • Journal Title

      Proc. ASRU2021

      Volume: 1 Pages: 1071-1078

    • DOI

      10.1109/ASRU51503.2021.9688270

    • Peer Reviewed / Open Access
  • [Journal Article] Acoustic Simulation of Body-conducted Speech and Its Use to Convert One's Recorded Voices to One's Own Voices2021

    • Author(s)
      Ruiyan Chen, Tazuko Nishimura, Nobuaki Minematsu, Daisuke Saito
    • Journal Title

      Proc. APSIPA2021

      Volume: 1 Pages: 821-828

    • Peer Reviewed / Open Access
  • [Presentation] Effects of karaoke shadowing on ELF learners’ segmental and prosodic features2023

    • Author(s)
      Noriko NAKANISHI, Nobuaki MINEMATSU
    • Organizer
      CamTESOL2023
    • Int'l Joint Research
  • [Presentation] Automatic prediction of word- and phoneme-unit intelligibility of Japanese learners’ L2 English2023

    • Author(s)
      Nobuaki MINEMATSU, Noriko NAKANISH
    • Organizer
      AAAL2023
    • Int'l Joint Research
  • [Presentation] 英語絵本読み聞かせ訓練をタスクとした学習者音声の韻律分析とその改善2023

    • Author(s)
      正田千宙, 高英翔, 峯松信明, 齋藤大輔, 中西のりこ
    • Organizer
      音響学会春季研究発表会
  • [Presentation] 音節を単位とした発音空間のエントロピーに着眼した母語・非母語発音分析2023

    • Author(s)
      勝瑞雄介,峯松信明,齋藤大輔,中西のりこ
    • Organizer
      音響学会春季研究発表会
  • [Presentation] Correlation analysis between L2 learners’while-listening facial expressions and their listening dysfluency2023

    • Author(s)
      Haokun Yang, Nobuaki Minematsu, Daisuke Saito
    • Organizer
      音響学会春季研究発表会
  • [Presentation] シャドーイングを用いた英語学習者の聞き淀み計測とその自動推定2023

    • Author(s)
      高英翔,峯松信明,齋藤大輔,中西のりこ
    • Organizer
      音響学会春季研究発表会
  • [Presentation] L2 音声に対する瞬時的了解度計測を目的とした シャドーイング音声コーパスの構築2022

    • Author(s)
      峯松 信明,朱 伝博,ダンチャン・ジャバオ,齋藤 大輔,金村 久美,中西のりこ
    • Organizer
      日本音響学会音声研究会
  • [Presentation] 日本語訛り英語の瞬時的了解度系列の自動予測2022

    • Author(s)
      朱 伝博,椢原 卓弥,勝瑞 雄介,齋藤 大輔,峯松 信明,中西のりこ
    • Organizer
      日本音響学会音声研究会
  • [Presentation] 話す→聞く→伝わるように話す→常時聞いて話すための外国語学習環境構築2022

    • Author(s)
      峯松信明
    • Organizer
      音響学会春季研究発表会
    • Invited
  • [Presentation] 語彙密度分析を用いた L2 音声の瞬時了解度自動推定2022

    • Author(s)
      勝瑞雄介,朱伝博,峯松信明,齋藤大輔
    • Organizer
      音響学会春季研究発表会
  • [Presentation] 咽喉マイクを用いた背景雑音に頑健な学習者音声の自動評価に関する検討2022

    • Author(s)
      大村瞬也, 勝瑞雄介, 伊藤紀一, 齋藤大輔, 峯松信明, 中西のりこ
    • Organizer
      音響学会春季研究発表会
  • [Presentation] 学習者音声に対する母語話者シャドーイングを用いた聴取崩れに関する要因分析2022

    • Author(s)
      ダンチャン・ジャバオ,朱伝博,齋藤大輔,峯松信明,金村久美
    • Organizer
      音響学会春季研究発表会
  • [Presentation] Pin-Chieh Hsu, Nobuaki Minematsu, Daisuke Saito2022

    • Author(s)
      An experimental study on language conditioning in phonetic posteriorgrams based cross-lingual voice conversion
    • Organizer
      音響学会春季研究発表会
  • [Presentation] 英語学習者が呈する聴取崩れの計測・モデル化とそれを用いた聴取崩れ箇所の予測2022

    • Author(s)
      椢原 卓弥,朱 伝博,齋藤 大輔,峯松 信明,中西のりこ
    • Organizer
      日本音響学会音声研究会
  • [Presentation] Objective comparison of the effects of L2 shadowing on learners’ speech perception and production2022

    • Author(s)
      Nobuaki MINEMATSU, Noriko NAKANISHI
    • Organizer
      New Sounds 2022
    • Int'l Joint Research
  • [Presentation] 外国語学習における効率的な韻律学習とその技術支援2022

    • Author(s)
      峯松信明
    • Organizer
      社会言語科学会大会シンポジウム
    • Invited
  • [Presentation] 音声分析・認識・合成・評価技術が組み込まれた外国語音声教材の開発を支援するオーサリングシステムの開発2022

    • Author(s)
      峯松信明,中西のりこ,井上雄介
    • Organizer
      日本音声学会研究例会シンポジウム
  • [Presentation] 学習者音声に対する音素・単語を単位とした明瞭度自動推定 シャドーイングを用いた評価者の聞き淀みの計測とモデル化2022

    • Author(s)
      峯松信明,中西のりこ
    • Organizer
      外国語教育メディア学会第61回全国研究大会
  • [Presentation] 教師なし音声分割と単語埋め込み空間を用いたL2音声の競合単語分析2022

    • Author(s)
      勝瑞雄介,峯松信明,齋藤大輔,中西のりこ
    • Organizer
      音響学会秋季研究発表会
  • [Presentation] 英語学習者音声の韻律を対象とした自動可視化・採点とその効果2022

    • Author(s)
      峯松信明,中西のりこ,高英翔,崔ジェヒョン,勝瑞雄介
    • Organizer
      日本音声学会全国大会
  • [Presentation] 逆シャドーイング法を用いた瞬時了解度アノテーションとその高精度化に関する分析的検討2021

    • Author(s)
      箱田 崚,朱 伝博,齋藤 大輔,峯松 信明,中西 のりこ
    • Organizer
      情報処理学会音声言語情報処理研究会
  • [Presentation] モデル音声への接近と逸脱及びモデル音声の知覚に着目した学習者シャドーイング音声の分析2021

    • Author(s)
      椢原卓弥,朱伝博,齋藤大輔,峯松信明,中西のりこ
    • Organizer
      音響学会秋季研究発表会
  • [Presentation] L2 音声を対象とした瞬時的了解度計測のためのシャドーイング音声コーパスの構築2021

    • Author(s)
      峯松信明,朱伝博,椢原卓也,箱田崚,齋藤大輔,中西のりこ
    • Organizer
      音響学会秋季研究発表会
  • [Presentation] Automatic Prediction of Instantaneous Intelligibility of L2 Speech in Sequence2021

    • Author(s)
      Chuanbo Zhu, Takuya Kunihara, Daisuke Saito, Nobuaki Minematsu, Noriko Nakanishi
    • Organizer
      Autumn Meeting of Acoustic Society of Japan
  • [Presentation] シャドーイングに基づく言語学習者の英語音声産出・知覚能力に対する多角的分析2021

    • Author(s)
      椢原 卓弥,朱 伝博,齋藤 大輔,峯松 信明,中西のりこ
    • Organizer
      電子情報通信学会音声研究会
  • [Presentation] シャドーイングの効果に対する学習者の意識2021

    • Author(s)
      中西のりこ,峯松信明,椢原卓弥
    • Organizer
      外国語教育メディア学会関西支部秋季研究大会
  • [Presentation] Objective and Semi-automatic Measurement of Smoothness of Instantaneous Understanding of L2 English Speech2021

    • Author(s)
      Chuanbo Zhu, Nobuaki Minematsu, Noriko Nakanishi
    • Organizer
      Pronunciation in Second Language Learning and Teaching Conference (PSLLT)
    • Int'l Joint Research
  • [Patent(Industrial Property Rights)] 外国語音声の知覚と聴音に関する多角的評価のための循環型シャドーイング教材2021

    • Inventor(s)
      峯松信明,椢原卓弥,朱伝博,箱田峻,中西のりこ,西村多寿子
    • Industrial Property Rights Holder
      峯松信明,椢原卓弥,朱伝博,箱田峻,中西のりこ,西村多寿子
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      63/235683
  • [Patent(Industrial Property Rights)] 音声に対する瞬時的了解度の系列推定技術2021

    • Inventor(s)
      峯松信明,朱伝博,中西のりこ
    • Industrial Property Rights Holder
      峯松信明,朱伝博,中西のりこ
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      63/235243

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi