• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Development of L2 speech training infrastructure for objective measurement of speech comprehensibility based on native speakers' shadowing

Research Project

Project/Area Number 18H04107
Research InstitutionThe University of Tokyo

Principal Investigator

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

Co-Investigator(Kenkyū-buntansha) 牧野 武彦  中央大学, 経済学部, 教授 (00269482)
山内 豊  創価大学, 教育学部, 教授 (30306245)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
Project Period (FY) 2018-04-01 – 2022-03-31
Keywords外国語教育 / シャドーイング / 瞬時的了解性 / 定量的評価 / ポステリオグラム / 発音評価 / 音声認識
Outline of Annual Research Achievements

外国語学習者の音声は本人にとっては聞き取りやすいが,聴取者にとっては必ずしも聞き取りやすいとは限らない。聴取者にとっての聞き取りやすさ,瞬時的了解性を客観的に計測する方法として,聴取者(多くは母語話者)にシャドーさせ,そのシャドー音声の崩れを計測することで,瞬時的了解性のアノテーションとする方法を提案している。昨年度は,母語話者に(学習者の読み上げ音声を)シャドーさせ,その直後に,学習者が参照したテキストを参照しながらシャドーさせる方式を提案した(両音声を比較することで瞬時的了解性が計算できる)。本年度は本手法をベースにシャドワーを母語話者のみならず,非母語話者の英語上級者(例えば会議通訳者)にも参加させ,聞き手の言語背景によって瞬時的了解性がどう変化するのか調査した。また,シャドー音声を手動で書き起こすことで,(手動書き起こしに基づく)瞬時的了解性が定量化できるが,これが,提案手法(シャドー音声の崩れの定量化)とどの程度相関があるのか,についても調査した。その結果,提案手法は,シャドー音声を音声認識器で書き起こすよりも,より精度高く,かつ頑健に,手動書き起こしに基づく瞬時的了解性を予測できることがわかった。例えば日本人英語を非母語話者の英語上達者にシャドーさせると,彼らの英語には母語訛りが存在するため,音声認識(自動書き起こし)の精度が落ちる。提案手法は,彼らのシャドー音声と,スクリプトシャドー音声の比較に基づくため,このような母語訛りの影響を受けない。世界諸英語を念頭において,世界中の英語学習者をシャドーする側,される側に配置することを考えた場合,シャドワーの母語訛りに対する非依存性は必須の技術である。また,日本人英語をシャドーさせる場合,シャドワーの日本語学習歴が大きく影響することも示された。これらの研究成果は音声学会の優秀発表賞を受賞した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度の成果の一部を上記に示したが,それ以外の理論的考察も大きな成果であると考えている。外国語学習者の音声の「分かり易さ」を形容する用語して,intelligibility, comprehensibility, interpretability, fluency など,様々な用語が乱立しているが,我々が検討する「シャドー音声の円滑さ」が,従来の試みと何が等しく,何が異なるのか,について議論を重ね,瞬時的明瞭度(了解度),あるいは,聴解の円滑さ,という名称で呼ぶことが相応しいという結論に至ったことも大きい。また,聴取者に課すタスクであるシャドーイングは,脳科学の分野で言われる「音声聴取におけるミラーニューロンの活動」と関連付けて議論できること,ミラーリングの音声化がシャドーイングであること,などの理論的裏付けを進めることができたことも大きい。すなわち,実験的には,1) 聴取者(シャドワー)の言語背景を多様にした場合でも応用可能であること,2) シャドー音声を音声認識で自動書き起こしするよりも精度高く,より頑健に処理できること,3) 単語単位のみならず,音素,音節単位でも評価が可能であることを示せた。それに加え,理論的には,1) シャドーの出来・不出来は瞬時的了解度として解釈するのが相応しいこと,2) シャドーイングはミラーニューロンの音声化(意識化)として解釈できること,などの考察をすることができた。なお,次年度の研究(virtual shadower の構築)に向けて,少数のシャドワーを対象として,日本人英語800発声のシャドー音声,スクリプト・シャドー音声の収録を開始した。

Strategy for Future Research Activity

現在,特定の母語話者・英語上級者を対象として,日本人英語800発声に対するシャドー音声,スクリプト・シャドー音声を収録している。これらのシャドー音声対から,提示した日本人英語音声のどこで,どの程度,瞬時的了解度が下がったのか,という時系列アノテーションが得られる。このアノテーションを,学習者音声のみから予測する Virtual Shadower (VS)の構築を検討する。VS は英語上達者の瞬時的聴解の様子をモデル化していることに相当する。学習者が母語話者英語を聞いてシャドー(およびスクリプト・シャドー)した音声があれば,学習者の瞬時的聴解の様子のモデル化することになる。「上級者が初級者の英語音声を聞いた時の聴解モデル」は,初級者にとっては(自身にとっては常に聞き取りやすい)自身の英語を他者はどう聞いているのかが分かり,「初級者が上級者の英語音声を聞いた時の聴解モデル」は,初級者はどのような音声特徴・言語特徴を有する音声区間において聴解が崩れるのかを予測することができる。例えば,リスニング教材の難易度をデータに基づいてソーティングするなど,教材の精緻化を検討できる。これらについて検討する。

  • Research Products

    (11 results)

All 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (8 results)

  • [Journal Article] Optimized Prediction of Fluency of L2 English Based on Interpretable Network Using Quantity of Phonation and Quality of Pronunciation2021

    • Author(s)
      Yang Shen, Ayano Yasukagawa, Daisuke Saito, Nobuaki Minematsu, Kazuya Saito
    • Journal Title

      Proc. IEEE Workshop on Spoken Language Technology

      Volume: 1 Pages: 698-704

    • DOI

      10.1109/SLT48900.2021.9383458

    • Peer Reviewed / Open Access
  • [Journal Article] Shadowability Annotation with Fine Granularity on L2 Utterances and Its Improvement with Native Listeners’ Script-shadowing2020

    • Author(s)
      Zhenchao LIN, Ryo TAKASHIMA, Daisuke SAITO, Nobuaki MINEMATSU, Noriko NAKANISHI
    • Journal Title

      Proc. INTERSPEECH

      Volume: 1 Pages: 3865-3869

    • DOI

      10.21437/Interspeech.2020-2550

    • Peer Reviewed / Open Access
  • [Journal Article] Tensor Factor Analysis for Arbitrary Speaker Conversion2020

    • Author(s)
      Daisuke Saito, Nobuaki Minematsu, Keikichi Hirose
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E103.D Pages: 1395-1405

    • DOI

      10.1587/transinf.2019EDP7166

    • Peer Reviewed
  • [Presentation] 英語学習者と日本語学習者音声に対する多角的評価に関する実験的検討2021

    • Author(s)
      椢原卓弥,藩陽,斎藤大輔,峯松信明,斉藤一弥,ボイクマン総子
    • Organizer
      音響学会春季全国大会
  • [Presentation] Multi-granularity analysis of online intelligibility of L2 speech based on reverse shadowing2021

    • Author(s)
      Chuanbo Zhu, Ryo Hakoda, Daisuke Saito, Nobuaki Minematsu, Noriko Nakanishi
    • Organizer
      音響学会春季全国大会
  • [Presentation] 学習者間相互シャドーイングの実現に向けた音声分析条件と 発音教示生成に関する実験的検討2020

    • Author(s)
      青谷 和真,安藤 慎太郎,井上 雄介,齋藤 大輔,峯松 信明
    • Organizer
      情報処理学会音声言語処理研究会
  • [Presentation] 逆シャドーイングに基づく可解性の推定とその応用2020

    • Author(s)
      峯松 信明,青谷 和真,林 振超
    • Organizer
      日本語音声コミュニケーション学会
  • [Presentation] Shadowability-based Analysis of Behaviors of Listeners with Diverse Language Backgrounds when Listening to Japanese English Utterances2020

    • Author(s)
      Chuanbo ZHU, Ryo TAKASHIMA, Shintaro ANDO, Zhenchao LIN, Daisuke SAITO, Nobuaki MINEMATSU, Noriko NAKANISHI
    • Organizer
      音響学会秋季全国大会
  • [Presentation] Analyses on Instantaneous Perception of Japanese English by Listeners with Various Language Profiles2020

    • Author(s)
      Chuanbo Zhu, Zhenchao Lin, Nobuaki Minematsu, Noriko Nakanishi
    • Organizer
      音声学会全国大会
  • [Presentation] オンライン国際交流が外国語学習 者のコミュニケーション能力と意識の向 上に与える影響に関する質的考察― スピーキング力とシャドーイング力の伸 長に向けて―2020

    • Author(s)
      山内 豊,峯松信明,西川恵
    • Organizer
      外国語教育メディア学会関東支部研究大会
  • [Presentation] Acoustic Word Embedding を用いた L2 単語音声の語彙密度分析2020

    • Author(s)
      安藤慎太郎,齋藤大輔,峯松信明
    • Organizer
      音響学会秋季全国大会

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi