• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2019 年度 実績報告書

学習者相互シャドーイングに基づく外国語発音の相対化とその効果的な教育利用

研究課題

研究課題/領域番号 19H05471
配分区分補助金
研究機関東京大学

研究代表者

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

研究分担者 齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
研究期間 (年度) 2019-06-28 – 2023-03-31
キーワード外国語教育 / 高齢化・少子化 / 外国人労働者 / 音声教育 / 可解性 / 学習者相互シャドーイング
研究実績の概要

外国語学習者の音声は本人にとっては聞き取りやすいが,聴取者にとっては必ずしも聞き取りやすい訳ではない。聴取者にとっての聞き取りやすさ,可解性を データとして計測する方法として,聴取者(多くは母語話者)にシャドーさせ,そのシャドー音声の崩れを計測することで,shadowability のアノテーションと する方法を提案している。昨年度は,母語話者のシャドーイング音声と,学習者が意図した単語列(音素列)を使って崩れの度合いを自動計測したが,本年度で はより高精度なアノテーション構築を目的とし,シャドーさせた後に学習者が意図した文を読み上げさせ,シャドー音声と読み上げ音声とを比較することで,ど こで崩れが生じているのかを計測する手法を検討した。シャドー音声のみが使える状況から,読み上げ音声も参照することができるため,計測の信頼性が格段に 向上した。この手法を更に向上させることを目的として,読み上げ作業を,スクリプトシャドー作業(意図されたテキストを見ながら,学習者音声をシャドーす る)へと変更した。こうすることで,1)学習者読み上げ音声,2)母語話者スクリプトシャドー音声(一番上手なシャドーができた場合の音声),3)母語話 者シャドー音声が得られ,shadowability の自動計測のみならず,3種類の音声を学習者に提示するだけで,教育的効果があることも予備的に検討できた。更には,中国人の日本語学習者を対象として,彼らの日本語音声を日本人にシャドーさせ,また,彼らには外国人の中国語音声をシャドーさせた。中国人の日本語学習者の音声に対する(日本人の)可解性を,等しい可解性を持つ外国人の中国語音声を提示することによって,直感的に経験させることが目的である。この方式に対する予備的な検討を遂行することができた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

学習者の音声を聴取者(多くは母語話者)にシャドーさせ,その崩れを通して可解性の推定を行っている。シャドーの後に読み上げを行わせるデータ収集から更に進んで,読み上げ作業を,スクリプトシャドー作業(意図されたテキストを見ながら,学習者音声をシャドーす る)へと変更し,その効果を示すことができた。こうすることで,1)学習者読み上げ音声,2)母語話者スクリプトシャドー音声(一番上手なシャドーができた場合の音声),3)母語話 者シャドー音声が得られ,shadowability の自動計測のみならず,3種類の音声を学習者に提示するだけで,教育的効果があることも予備的に検討できた。更には,中国人の日本語学習者を対象として,彼らの日本語音声を日本人にシャドーさせ,また,彼らには外国人の中国語音声をシャドーさせた。中国人の日本語学習者の音声に対する(日本人の)可解性を,等しい可解性を持つ外国人の中国語音声を提示することによって,直感的に経験させることが目的である。この方式に対する予備的な検討を遂行することができた。なお,東南アジアを拠点として人材派遣会社の目にとまり,そこと協力して,ベトナム人の外国人労働者の日本語発音能力(コミュニケーション能力)の向上と,受け入れ先の企業(多くは地方)のスタッフが話す方言をベトナム人にシャドーさせることで,互いが互いの日本語音声に対して,どこで戸惑っているのかをあぶり出すサービスを検討することtなった。

今後の研究の推進方策

昨年予備的検討を行った事項について,データ規模を拡大するとともに,人材派遣会社との協力により,実践的サービスの雛形を構築したい。学習者にとって自身の外国語は聞き取りやすいはずだが,聴取者はそう思っていないことも多い。この事実を上手に,不快感を与えることなく feedback する方法が必要となるが,この点についても,教師と議論を進めたい。

  • 研究成果

    (9件)

すべて 2020 2019

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 3件) 学会発表 (6件) (うち国際学会 3件、 招待講演 2件)

  • [雑誌論文] Analysis of Native Listeners’ Facial Microexpressions While Shadowing Non-Native Speech -- Potential of Shadowers’ Facial Expressions for Comprehensibility Prediction --2019

    • 著者名/発表者名
      Tasavat Trisitichoke, Shintaro Ando, Daisuke Saito, Nobuaki Minematsu
    • 雑誌名

      Proceedings of INTERSPEECH

      巻: - ページ: 1861, 1865

    • DOI

      10.21437/Interspeech.2019-1953

    • 査読あり / オープンアクセス
  • [雑誌論文] Native Listeners' Shadowing of Non-native Utterances as Spoken Annotation Representing Comprehensibility of the Utterances2019

    • 著者名/発表者名
      Zhenchao Lin, Yusuke Inoue, Tasavat Trisitichoke, Shintaro Ando, Daisuke Saito, Nobuaki Minematsu
    • 雑誌名

      Proceedings of SLaTE

      巻: - ページ: 43, 47

    • DOI

      10.21437/SLaTE.2019-8

    • 査読あり / オープンアクセス
  • [雑誌論文] A Large Collection of Sentences Read Aloud by Vietnamese Learners of Japanese and Native Speaker’s Reverse Shadowings2019

    • 著者名/発表者名
      Shintaro Ando, Zhenchao Lin, Tasavat Trisitichoke, Yusuke Inoue, Fuki Yoshizawa, Daisuke Saito, Nobuaki Minematsu
    • 雑誌名

      Proceedings of O-COCOSDA

      巻: - ページ: 1, 6

    • DOI

      10.1109/O-COCOSDA46868.2019.9041215

    • 査読あり / オープンアクセス
  • [学会発表] 日本人による英語自然発声を対象とした流暢さの高精度自動スコアリングの実現2020

    • 著者名/発表者名
      安ヵ川彩乃,安藤慎太郎,紺野瑛介,林振超,井上雄介,齋藤大輔,峯松信明,斉藤一弥
    • 学会等名
      電子情報通信学会音声研究会
  • [学会発表] 韻律的特徴・ラベルを用いたDNN音響モデルに基づく英語発話時の韻律制御に対する自動推定2020

    • 著者名/発表者名
      瀋陽,安藤慎太郎,峯松信明,齋藤大輔,小橋川哲
    • 学会等名
      電子情報通信学会音声研究会
  • [学会発表] 日本語end-to-end音声合成を用いた韻律シンボル教示とその音響的実現に関する音声教育的考察2020

    • 著者名/発表者名
      吉澤風希,熊野正,峯松信明,栗原清
    • 学会等名
      電子情報通信学会音声研究会
  • [学会発表] INFLUENCE OF CONTENT VARIATIONS ON SMOOTHNESS OF NATIVE SPEAKERS’ REVERSE SHADOWING2019

    • 著者名/発表者名
      Tasavat Trisitichoke, Shintaro Ando, Yusuke Inoue, Daisuke Saito, Nobuaki Minematsu
    • 学会等名
      International Congress on Phonetic Scienceson
    • 国際学会
  • [学会発表] Natives' shadowability as objectively measured comprehensibility of non-native speech2019

    • 著者名/発表者名
      Nobuaki Minematsu
    • 学会等名
      CASS JSPS joint symposium on linguistics
    • 国際学会 / 招待講演
  • [学会発表] How can speech technologies support learners to improve their skills of speaking, listening, conversation, and more?2019

    • 著者名/発表者名
      Nobuaki Minematsu
    • 学会等名
      ROCLING2019
    • 国際学会 / 招待講演

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi