• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

学習者相互シャドーイングに基づく外国語発音の相対化とその効果的な教育利用

研究課題

研究課題/領域番号 20K20407
研究機関東京大学

研究代表者

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

研究分担者 齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード外国語教育 / 高齢化・少子化 / 外国人労働者 / 音声教育 / 了解性 / シャドーイング
研究実績の概要

外国語学習者の音声は本人にとっては聞き取りやすいが,聞き手にとっては必ずしも聞き取りやすいとは限らない。聞き手が感じる聞き取りやすさ(瞬時的了解度)を客観的に計測し,話し手に効果的に伝達する方法として,聞き手(多くは母語話者)にシャドーさせ,そのシャドー音声の崩れを計測することで,瞬時的了解度のアノテーションとする方法を検討している(シャドーの崩れは聴取の崩れとして解釈できる)。
シャドー崩れの計測は,シャドーイングの直後に,話し手が参照したテキストを見ながら再度シャドーさせた (スクリプト・シャドー)音声を取得し,これとシャドー音声とを比較し,崩れの様子を時系列として取得する。昨年度,a) 学習者音声を音声認識した時の誤り率,b) 母語話者シャドー音声を音声認識した場合の誤り率,c) 母語話者によるシャドー音声とスクリプトシャドー音声から求まる崩れ度合い,のいずれが,聞き手の聴取崩れをより正確に表現できているのかを検討し,提案手法である c) の優位性を実験的に示すことができた。この結果を踏まえ,本年度は,1) 日本人による読み上げ英語音声を母語話者(相当)にシャドー,スクリプトシャドーさせ,瞬時的了解度アノテーション付きコーパスを構築し,2) (外国人労働者数の最も多い)ベトナム人による読み上げ日本語音声を日本語母語話者にシャドーさせ,同様のアノテーション付きコーパスを構築した。これらを用いて,3) 聞き手が感じる了解度を予測するモデルを深層学習,機械学習を用いて構築した。更には,4) 英語学習者が母語話者英語を聴取したり,非母語話者英語を聴取した場合に感じる聞き取りにくさを同様に計測,分析し,アノテーション付きコーパスを構築した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究は,学習者の音声を母語話者が聞いたり,母語話者の音声を学習者が聞いたり,更には学習者の音声を学習者が聞くなど,様々な状況において,聞き手が話し手の音声に対して,どこで,どのくらい聴取崩れが生じたのかを時系列として計測し,ある聞き手がある話者の音声を聞いた時に,どのように聴取が崩れるのかを予測するモデルを構築することにある。a)米国人が日本人の英語を聞く,b)日本人が米国人の英語を聞く,c)日本人が日本人の英語を聞く,d)様々な国の英語学習者が様々な国の英語を聞く,e)日本人がベトナム人の日本語を聞く,という場面を想定して検討した。数百の音声を聴取させ,それをシャドーイング,及び,スクリプトシャドーイングさせることで,聴取崩れを時系列として計測し,それを提示音声の聞き取りにくさ(聴取崩れの大きさ)アノテーションとして採用している。一定の規模のコーパスが構築されたので,a), b), c), e) の場合において,どのような聞き手がどのような英語を聞くと,どこで聴取がどのくらい崩れるのかを予想するモデルを深層学習,機械学習を用いることで構築した。良好な精度を得ることができたが,来年度(最終年度)は,抽出する特徴量やモデルの構造を最適化することで精度向上を実現し,また,現場にて応用することで,本研究成果の妥当性,実用性についても検討したい。

今後の研究の推進方策

昨年度,a)米国人が日本人の英語を聞く,b)日本人が米国人の英語を聞く,c)日本人が日本人の英語を聞く,d)様々な国の英語学習者が様々な国の英語を聞く,e)日本人がベトナム人の日本語を聞く,という場面を想定してコーパスを構築し,a), b), c), e) の場合において,どのような聞き手がどのような英語を聞くと,どこで聴取がどのくらい崩れるのかを予想するモデルを深層学習,機械学習を用いることで構築した。単語単位で聞き取りが崩れるのか否かを予想するモデルを構築したが,瞬時的了解度は時系列として定義されるため,判定の単位を音素,フレームとすることで,深層学習,機械学習時の学習データのサンプル数を格段に増やすことが可能となる。更には,抽出する特徴量やモデルの構造の最適化も検討して,精度向上を実現する。英語教育,日本語教育の現場にも導入し,本研究成果の妥当性,実用性についても検討したい。特に,学習対象言語の母語話者と会う機会が乏しい学習者に対して,「当該学習者の発音は母語話者のそれとどこがどのように違うのか」「そして,その発音はどこで聴取が崩れるのか」の両者を提示することを検討したい。母語話者のような発音を求める学習者は少なくないが,十分伝わることで客観的に示すことで,彼らを安心させることができると考えられる。

次年度使用額が生じた理由

本研究課題の場合,残額は自動で翌年度に繰り越されるため,数万円の残額は無理に使用せず,翌年度に繰り越した。なお,繰り越しに回した額はシャドーイング音声収集の被験者者金となる予定であった。次年度もデータ収集は続けるため,謝金として使うことになる。

  • 研究成果

    (12件)

すべて 2022 2021

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (7件) (うち国際学会 2件、 招待講演 1件) 産業財産権 (2件)

  • [雑誌論文] Shadowability of English Learner's Utterances2022

    • 著者名/発表者名
      Noriko Nakanishi, Nobuaki Minematsu, Chuanbo Zhu
    • 雑誌名

      Journal of Global Communication Studies

      巻: 7 ページ: 29-44

    • 査読あり / オープンアクセス
  • [雑誌論文] Lexical Density Analysis of Word Productions in Japanese English Using Acoustic Word Embeddings2021

    • 著者名/発表者名
      Shintaro Ando, Nobuaki Minematsu, Daisuke Saito
    • 雑誌名

      Proc. INTERSPEECH2021

      巻: 1 ページ: 4433-4437

    • DOI

      10.21437/Interspeech.2021-853

    • 査読あり / オープンアクセス
  • [雑誌論文] Multi-Granularity Annotation of Instantaneous Intelligibility of Learners' Utterances Based on Shadowing Techniques2021

    • 著者名/発表者名
      Chuanbo Zhu, Ryo Hakoda, Daisuke Saito, Nobuaki Minematsu, Noriko Nakanishi, Tazuko Nishimura
    • 雑誌名

      Proc. Automatic Speech Recognition and Understanding

      巻: 1 ページ: 1071-1078

    • DOI

      10.1109/ASRU51503.2021.9688270

    • 査読あり / オープンアクセス
  • [学会発表] L2 音声に対する瞬時的了解度計測を目的とした シャドーイング音声コーパスの構築2022

    • 著者名/発表者名
      峯松信明,朱伝博,ダンチャン・ジャバオ,齋藤大輔,中西のりこ
    • 学会等名
      音響学会音声研究会
  • [学会発表] Sequential prediction of instantaneous intelligibility in Japanese-accented English utterances2022

    • 著者名/発表者名
      Chuanbo Zhu, Takuya Kunihara, Yusuke Shozui, Daisuke Saito, Nobuaki Minematsu, and Noriko Nakanishi
    • 学会等名
      音響学会音声研究会
  • [学会発表] 学習者音声に対する母語話者シャドーイングを用いた聴取崩れに関する要因分析2022

    • 著者名/発表者名
      ダンチャン・ジャバオ,朱伝博,齋藤大輔,峯松信明,金村久美
    • 学会等名
      日本音響学会春季研究発表会
  • [学会発表] 話す→聞く→伝わるように話す→常時聞いて話すための外国語学習環境構築2022

    • 著者名/発表者名
      峯松信明
    • 学会等名
      日本音響学会春季研究発表会
    • 招待講演
  • [学会発表] モデル音声への接近と脱落及びモデル音声の知覚に着目した学習者シャドーイング音声の分析2021

    • 著者名/発表者名
      椢原卓弥,朱伝博,齋藤大輔,峯松信明,中西のりこ
    • 学会等名
      日本音響学会秋季研究発表会
  • [学会発表] Objective and Semi-automatic Measurement of Smoothness of Instantaneous Understanding of L2 English Speech2021

    • 著者名/発表者名
      Chuanbo Zhu, Nobuaki Minematsu, Noriko Nakanishi
    • 学会等名
      PSLLT2021
    • 国際学会
  • [学会発表] Objective measurement of instantaneous intelligibility of L2 utterances based on shadowing2021

    • 著者名/発表者名
      Nobuaki Minematsu, Ryo Hakoda, Chuanbo Zhu, Noriko Nakanishi, Tazuko Nishimura, Daisuke Saito
    • 学会等名
      ISAPh2021
    • 国際学会
  • [産業財産権] 音声に対する瞬時的了解度の系列推定技術2021

    • 発明者名
      峯松信明
    • 権利者名
      峯松信明
    • 産業財産権種類
      特許
    • 産業財産権番号
      63/235243
  • [産業財産権] 外国語音声の知覚と調音に関する多角的評価のための循環型シャドーイング教材2021

    • 発明者名
      峯松信明
    • 権利者名
      峯松信明
    • 産業財産権種類
      特許
    • 産業財産権番号
      63/235683

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi