• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

多言語に対応できるシャドーイング自動評価システムの開発と外国語教育への応用研究

研究課題

研究課題/領域番号 16H03084
研究機関創価大学

研究代表者

山内 豊  創価大学, 教育学部, 教授 (30306245)

研究分担者 峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
西川 惠  東海大学, 国際教育センター, 准教授 (10453705)
Husky Kay  東京国際大学, 商学部, 准教授 (50237955)
舟生 日出男  創価大学, 教育学部, 教授 (20344830)
研究期間 (年度) 2016-04-01 – 2020-03-31
キーワード外国語教育 / シャドーイング / 評価 / 総合的熟達度
研究実績の概要

コンテンツ・シャドーイングは,リスニング技能を高め,発音や韻律をネイティブ・ライクにして,スピーキング技能も高められ,音声言語処理を速められると期待されている。実際に,自動評価システムによるシャドーイングの自動評価得点と総合的熟達度得点との間に有意で高い相関が観測されている。
シャドーイング・パフォーマンスと総合的熟達度の相関は,熟達度の高い学習者ほどシャドーイング・パフォーマンスがよくなるが,これはシャドーイング訓練をすることによって総合的熟達度が伸びることを保証しているわけではない。
そこで,本年度は、多言語対応のうち、まず、英語を対象学習言語として、シャドーイング訓練を継続的に行うことにより総合的熟達度が伸張するかどうかについて調査した。総合的熟達度の異なる日本人英語学習者(大学生)に対して、継続的なシャドーイング練習を実施する前のベースラインとしてのシャドーイング・パフォーマンスを測定するために,文とパッセージからなるモデル音声についてプレ・シャドーイング録音してもらった。調査協力者は,自宅や大学の空き時間などに,練習モデル音声を聞いてシャドーイング練習し,自分で納得できるところまで練習したシャドーイング音声を提出した。このようなシャドーイング練習を継続的に実施した。その後,調査協力者は, プレ・シャドーイング録音で使用したのとの同じモデル音声に対して,ポスト・シャドーイング録音を実施した。彼らに,ポスト・テストとして総合的術辰度テストを受験してもらい,継続的なシャドーイング練習後の総合的熟達度を測定した。統計的分析の結果から、継続的なシャドーイング練習によって,シャドーイング・パフォーマンスそのものが向上するだけでなく,総合的熟達度を伸ばすことにつながることが明らかになった。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本年度実施したシャドーイングが総合的熟達度に与える影響についての実験では、本研究グループで開発された,最新の自動評価システムを使用した。このシステムでは,コンピュータがモデル音声と学習者のシャドーイング音声を,ディープ・ラーニング(DNN: Deep Neural Network)技術を使って,分析対象区間の音声的な特徴を音素クラス事後確率ベクトルに変換する。続いて,長さの異なる2つのベクトルを時系列の対応をとりながら比較できるDTW (Dynamic Time Warping)技術を使って,モデル音声と学習者音声との差異を示す距離を計算してDNN-GOP得点を算出する(Yue, Shiozawa,Toyama,Yamauchi,Ito,Saito & Minematsu 2017 )。
継続的なシャドーイング練習の前後に実施したシャドーイング・パフォーマンスとTOEIC得点の差異を統計的に分析したところ,プレとポスト録音におけるシャドーイング自動評価得点は有意に上昇していることがわかった (t(41)=3.933, p=.000)。さらに,プレとポストのTOEIC得点も有意に上昇していることも確認できた (t(41)=4.169, p=.000)。
以上から、英語を対象学習言語とした場合のシャドーイングの継続的な訓練と総合的熟達度の伸長の関係を明らかにすることができまた。

今後の研究の推進方策

今年度は、英語を対象学習言語とした場合のシャドーイングの継続的な訓練と総合的熟達度の伸長の関係を調査した。今後は、日本語をはじめとする他の言語でも同じような結果が得られるかどうかを、多言語対応のシャドーイング評価システムの開発とあわせて進めていく計画である。

  • 研究成果

    (14件)

すべて 2019 2018

すべて 雑誌論文 (9件) (うち国際共著 1件、 査読あり 5件) 学会発表 (5件) (うち国際学会 4件)

  • [雑誌論文] 母語話者シャドーイングとそれに基づく「聞き取り易さ」の客観的計測2018

    • 著者名/発表者名
      Yutaka Yamauchi, Nobuaki Minematsu, Kayoko Ito, Megumi Nishikawa, KayHusky, Aki Kunikoshi
    • 雑誌名

      日本音声学会全国大会発表論文集

      巻: 1 ページ: 54,59

    • 査読あり
  • [雑誌論文] シャドーイング音声自動評価における耐雑音性向上に関する検討2018

    • 著者名/発表者名
      椛島優, 齋藤大輔, 峯松信明, 山内豊, 伊藤佳世子
    • 雑誌名

      日本音響学会秋季講演論文集

      巻: 1 ページ: 829, 832

  • [雑誌論文] Natives' shadowability as objectively measured comprehensibility of non-native speech2018

    • 著者名/発表者名
      Nobuaki Minematsu, Yusuke Inoue, Suguru Kabashima, Daisuke Saito, Yutaka Yamauchi, Kumi Kanamura
    • 雑誌名

      Proceedings of the 2nd International Symposium on Applied Phonetics

      巻: 1 ページ: 28,35

    • 査読あり
  • [雑誌論文] 母語話者シャドーイングによる「聴き取りやすさ」の客観的計測2018

    • 著者名/発表者名
      峯松信明, 山内豊
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 162,163

    • 査読あり
  • [雑誌論文] 継続的なシャドーイング訓練が総合的熟達力の伸張に及ぼす影響2018

    • 著者名/発表者名
      山内豊, 伊藤佳世子, 峯松信明, 坪田康,西川惠
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 160,161

    • 査読あり
  • [雑誌論文] 音声変形技術を用いたHVTとそれに基づくリスニングの頑健化2018

    • 著者名/発表者名
      峯松信明, 山内豊
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 102,103

    • 査読あり
  • [雑誌論文] Automatic speech quality control of English listening materials and examination of Japanese learners’ listening ability in terms of robustness2018

    • 著者名/発表者名
      Haoyu Zhang, Yusuke Inoue, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi and Hinako Masuda
    • 雑誌名

      電子情報通信学会音声研究会発表論文集

      巻: 1 ページ: 1367,1370

    • 国際共著
  • [雑誌論文] シャドーイング音声自動評価における耐雑音化と回帰を用いた高精度化2018

    • 著者名/発表者名
      椛島優,齋藤大輔,峯松信明,山内豊,伊藤佳世子
    • 雑誌名

      情報処理学会研究発表論文集

      巻: 3 ページ: 1,6

  • [雑誌論文] 母語話者シャドーイングに基づく非母語話者音声の了解性計測に関する予備的検討2018

    • 著者名/発表者名
      井上雄介, 椛島優, 齋藤大輔, 峯松信明, 金村久美, 山内豊
    • 雑誌名

      日本音響学会春季講演論文集

      巻: 3 ページ: 1,6

  • [学会発表] How much does automatic evaluation based on deep neural network GOP cover prosodic features in L2 oral task assessment?2019

    • 著者名/発表者名
      Megumi Nishikawa,Yutaka ,Yamauchi Kayoko Ito, Kay Huskyand Nobuaki Minematsu
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 国際学会
  • [学会発表] Verification of Cognitive Load Theory: how much does continuous simultaneous oral reproduction training improve L2 overall proficiency?2019

    • 著者名/発表者名
      Yutaka Yamauchi, Megumi Nishikawa, Kayoko Ito Kay Husky and Nobuaki Minematsu
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 国際学会
  • [学会発表] An experimental study of influence of classroom babble noise on automatic assessment of learners’ shadowing speech2019

    • 著者名/発表者名
      Suguru Kabashima, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi, Kayoko Ito
    • 学会等名
      The Institute of Electronics, Information and Communication Engineers
  • [学会発表] Inter-learner shadowing with speech technologies enables automatic and objective measurement of comprehensibility of learners' utterances2019

    • 著者名/発表者名
      Megumi Nishikawa,Yutaka ,Yamauchi
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 国際学会
  • [学会発表] Development of an online L2 vocabulary test and the relationship between spoken and written vocabulary and overall proficiency2018

    • 著者名/発表者名
      Yutaka Yamauchi
    • 学会等名
      The 5th International Conference on Foreign Language Learning and Teaching
    • 国際学会

URL: 

公開日: 2021-01-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi