• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

多言語に対応できるシャドーイング自動評価システムの開発と外国語教育への応用研究

Research Project

Project/Area Number 16H03084
Research InstitutionSoka University

Principal Investigator

山内 豊  創価大学, 教育学部, 教授 (30306245)

Co-Investigator(Kenkyū-buntansha) 峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
西川 惠  東海大学, 国際教育センター, 准教授 (10453705)
Husky Kay  東京国際大学, 商学部, 准教授 (50237955)
舟生 日出男  創価大学, 教育学部, 教授 (20344830)
Project Period (FY) 2016-04-01 – 2020-03-31
Keywords外国語教育 / シャドーイング / 評価 / 総合的熟達度
Outline of Annual Research Achievements

コンテンツ・シャドーイングは,リスニング技能を高め,発音や韻律をネイティブ・ライクにして,スピーキング技能も高められ,音声言語処理を速められると期待されている。実際に,自動評価システムによるシャドーイングの自動評価得点と総合的熟達度得点との間に有意で高い相関が観測されている。
シャドーイング・パフォーマンスと総合的熟達度の相関は,熟達度の高い学習者ほどシャドーイング・パフォーマンスがよくなるが,これはシャドーイング訓練をすることによって総合的熟達度が伸びることを保証しているわけではない。
そこで,本年度は、多言語対応のうち、まず、英語を対象学習言語として、シャドーイング訓練を継続的に行うことにより総合的熟達度が伸張するかどうかについて調査した。総合的熟達度の異なる日本人英語学習者(大学生)に対して、継続的なシャドーイング練習を実施する前のベースラインとしてのシャドーイング・パフォーマンスを測定するために,文とパッセージからなるモデル音声についてプレ・シャドーイング録音してもらった。調査協力者は,自宅や大学の空き時間などに,練習モデル音声を聞いてシャドーイング練習し,自分で納得できるところまで練習したシャドーイング音声を提出した。このようなシャドーイング練習を継続的に実施した。その後,調査協力者は, プレ・シャドーイング録音で使用したのとの同じモデル音声に対して,ポスト・シャドーイング録音を実施した。彼らに,ポスト・テストとして総合的術辰度テストを受験してもらい,継続的なシャドーイング練習後の総合的熟達度を測定した。統計的分析の結果から、継続的なシャドーイング練習によって,シャドーイング・パフォーマンスそのものが向上するだけでなく,総合的熟達度を伸ばすことにつながることが明らかになった。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度実施したシャドーイングが総合的熟達度に与える影響についての実験では、本研究グループで開発された,最新の自動評価システムを使用した。このシステムでは,コンピュータがモデル音声と学習者のシャドーイング音声を,ディープ・ラーニング(DNN: Deep Neural Network)技術を使って,分析対象区間の音声的な特徴を音素クラス事後確率ベクトルに変換する。続いて,長さの異なる2つのベクトルを時系列の対応をとりながら比較できるDTW (Dynamic Time Warping)技術を使って,モデル音声と学習者音声との差異を示す距離を計算してDNN-GOP得点を算出する(Yue, Shiozawa,Toyama,Yamauchi,Ito,Saito & Minematsu 2017 )。
継続的なシャドーイング練習の前後に実施したシャドーイング・パフォーマンスとTOEIC得点の差異を統計的に分析したところ,プレとポスト録音におけるシャドーイング自動評価得点は有意に上昇していることがわかった (t(41)=3.933, p=.000)。さらに,プレとポストのTOEIC得点も有意に上昇していることも確認できた (t(41)=4.169, p=.000)。
以上から、英語を対象学習言語とした場合のシャドーイングの継続的な訓練と総合的熟達度の伸長の関係を明らかにすることができまた。

Strategy for Future Research Activity

今年度は、英語を対象学習言語とした場合のシャドーイングの継続的な訓練と総合的熟達度の伸長の関係を調査した。今後は、日本語をはじめとする他の言語でも同じような結果が得られるかどうかを、多言語対応のシャドーイング評価システムの開発とあわせて進めていく計画である。

  • Research Products

    (14 results)

All 2019 2018

All Journal Article (9 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results) Presentation (5 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] 母語話者シャドーイングとそれに基づく「聞き取り易さ」の客観的計測2018

    • Author(s)
      Yutaka Yamauchi, Nobuaki Minematsu, Kayoko Ito, Megumi Nishikawa, KayHusky, Aki Kunikoshi
    • Journal Title

      日本音声学会全国大会発表論文集

      Volume: 1 Pages: 54,59

    • Peer Reviewed
  • [Journal Article] シャドーイング音声自動評価における耐雑音性向上に関する検討2018

    • Author(s)
      椛島優, 齋藤大輔, 峯松信明, 山内豊, 伊藤佳世子
    • Journal Title

      日本音響学会秋季講演論文集

      Volume: 1 Pages: 829, 832

  • [Journal Article] Natives' shadowability as objectively measured comprehensibility of non-native speech2018

    • Author(s)
      Nobuaki Minematsu, Yusuke Inoue, Suguru Kabashima, Daisuke Saito, Yutaka Yamauchi, Kumi Kanamura
    • Journal Title

      Proceedings of the 2nd International Symposium on Applied Phonetics

      Volume: 1 Pages: 28,35

    • Peer Reviewed
  • [Journal Article] 母語話者シャドーイングによる「聴き取りやすさ」の客観的計測2018

    • Author(s)
      峯松信明, 山内豊
    • Journal Title

      外国語教育メディア学会全国研究大会発表論文集

      Volume: 1 Pages: 162,163

    • Peer Reviewed
  • [Journal Article] 継続的なシャドーイング訓練が総合的熟達力の伸張に及ぼす影響2018

    • Author(s)
      山内豊, 伊藤佳世子, 峯松信明, 坪田康,西川惠
    • Journal Title

      外国語教育メディア学会全国研究大会発表論文集

      Volume: 1 Pages: 160,161

    • Peer Reviewed
  • [Journal Article] 音声変形技術を用いたHVTとそれに基づくリスニングの頑健化2018

    • Author(s)
      峯松信明, 山内豊
    • Journal Title

      外国語教育メディア学会全国研究大会発表論文集

      Volume: 1 Pages: 102,103

    • Peer Reviewed
  • [Journal Article] Automatic speech quality control of English listening materials and examination of Japanese learners’ listening ability in terms of robustness2018

    • Author(s)
      Haoyu Zhang, Yusuke Inoue, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi and Hinako Masuda
    • Journal Title

      電子情報通信学会音声研究会発表論文集

      Volume: 1 Pages: 1367,1370

    • Int'l Joint Research
  • [Journal Article] シャドーイング音声自動評価における耐雑音化と回帰を用いた高精度化2018

    • Author(s)
      椛島優,齋藤大輔,峯松信明,山内豊,伊藤佳世子
    • Journal Title

      情報処理学会研究発表論文集

      Volume: 3 Pages: 1,6

  • [Journal Article] 母語話者シャドーイングに基づく非母語話者音声の了解性計測に関する予備的検討2018

    • Author(s)
      井上雄介, 椛島優, 齋藤大輔, 峯松信明, 金村久美, 山内豊
    • Journal Title

      日本音響学会春季講演論文集

      Volume: 3 Pages: 1,6

  • [Presentation] How much does automatic evaluation based on deep neural network GOP cover prosodic features in L2 oral task assessment?2019

    • Author(s)
      Megumi Nishikawa,Yutaka ,Yamauchi Kayoko Ito, Kay Huskyand Nobuaki Minematsu
    • Organizer
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • Int'l Joint Research
  • [Presentation] Verification of Cognitive Load Theory: how much does continuous simultaneous oral reproduction training improve L2 overall proficiency?2019

    • Author(s)
      Yutaka Yamauchi, Megumi Nishikawa, Kayoko Ito Kay Husky and Nobuaki Minematsu
    • Organizer
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • Int'l Joint Research
  • [Presentation] An experimental study of influence of classroom babble noise on automatic assessment of learners’ shadowing speech2019

    • Author(s)
      Suguru Kabashima, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi, Kayoko Ito
    • Organizer
      The Institute of Electronics, Information and Communication Engineers
  • [Presentation] Inter-learner shadowing with speech technologies enables automatic and objective measurement of comprehensibility of learners' utterances2019

    • Author(s)
      Megumi Nishikawa,Yutaka ,Yamauchi
    • Organizer
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • Int'l Joint Research
  • [Presentation] Development of an online L2 vocabulary test and the relationship between spoken and written vocabulary and overall proficiency2018

    • Author(s)
      Yutaka Yamauchi
    • Organizer
      The 5th International Conference on Foreign Language Learning and Teaching
    • Int'l Joint Research

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi