• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

多言語に対応できるシャドーイング自動評価システムの開発と外国語教育への応用研究

研究課題

研究課題/領域番号 16H03084
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
研究分野 教育工学
研究機関創価大学 (2018-2019, 2021)
東京国際大学 (2016-2017)

研究代表者

山内 豊  創価大学, 教育学部, 教授 (30306245)

研究分担者 西川 惠  東海大学, 国際教育センター, 准教授 (10453705)
舟生 日出男  創価大学, 教育学部, 教授 (20344830)
Husky Kay  東京国際大学, 商学部, 准教授 (50237955)
峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
木下 聖子  創価大学, 糖鎖生命システム融合センター, 教授 (50440235)
染谷 泰正  関西大学, 外国語学部, 教授 (40348454)
川村 明美  東京国際大学, 言語コミュニケーション学部, 教授 (30326996)
研究期間 (年度) 2016-04-01 – 2020-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2019年度: 3,120千円 (直接経費: 2,400千円、間接経費: 720千円)
2018年度: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2017年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2016年度: 5,590千円 (直接経費: 4,300千円、間接経費: 1,290千円)
キーワード外国語教育 / シャドーイング / 自動評価 / 深層学習 / 音素事後確率系列 / 音響モデル / GOP / DTW / 言語非依存 / 学習者音声 / 外国語 / 多言語 / 英語教育 / 評価 / 総合的熟達度 / 多言語対応 / ティープ・ランニング / 手動評価 / 評価制度 / ディープ・ラーニング / 評価精度 / 言語優勢度
研究成果の概要

外国語の音声コミュニケーション能力を高めるために,モデル音声を聞いて内容理解しながら即時的に口頭再生するシャドーイングを活用した外国語練習システムを開発し、本システムに搭載する自動評価について特定の言語に依存しないアルゴリズムの構築を検討した。モデル音声と学習者音声の比較に深層学習を取り入れた音素事後確率系列(posteriorgram)を活用することによって、従来の方法に比較して高精度の評価が可能になり、さらに、複数言語データで構成したマルチリンガル音響モデルを活用することで、特定の言語への依存性を低減できる可能性があることが明らかになった。

研究成果の学術的意義や社会的意義

従来の音声認識を使った音声評価システムでは,モデル音声と学習者音声の直接比較ができず,さらに,言語ごとに音響モデルを用意する必要があった。本研究の自動評価についての新アルゴリズムは,従来の音声認識法と比較して評価精度が向上し、特定言語への非依存性を検討した点が学術的な意義といえる。学習者音声との直接比較が可能となったため,外国語教育分野で活用した場合の学習者へのフィードバックが正確になり,言語ごとに異なる音響モデルを用意する必要がないため多言語を対象とした外国語教育に広く利用できる可能性を含んでいる点が社会的意義といえる。

報告書

(5件)
  • 2021 研究成果報告書 ( PDF )
  • 2019 実績報告書
  • 2018 実績報告書
  • 2017 実績報告書
  • 2016 実績報告書
  • 研究成果

    (35件)

すべて 2022 2021 2019 2018 2017 2016 その他

すべて 国際共同研究 (3件) 雑誌論文 (14件) (うち国際共著 3件、 査読あり 8件) 学会発表 (18件) (うち国際学会 12件、 招待講演 1件)

  • [国際共同研究] Emory University(米国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] Melbourne University(オーストラリア)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] Humboldt Universit(ドイツ)

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] シャドーイングの自動評価機能を活用した次世代型国際交流サイトの開発と実践2022

    • 著者名/発表者名
      山内豊, 木下聖子, 峯松信明
    • 雑誌名

      言語教育エキスポ2021発表予稿集

      巻: 1 ページ: 59-60

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] Effects of online language exchange on motivation, cultural awareness, and perception about language learning in a collegiate elementary level Japanese cours2021

    • 著者名/発表者名
      Mizuki Mazzotta, Yutaka Yamaguchi
    • 雑誌名

      Proceedings of the 36th Annual Conference of the Southeastern Association of Teachers of Japanese

      巻: 1 ページ: 293-308

    • 関連する報告書
      2019 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] インタラクション重視の同期型オンライン英語科教育授業の満足度に与える要因分析2021

    • 著者名/発表者名
      山内 豊
    • 雑誌名

      日本教育工学会研究報告集

      巻: 3 ページ: 94-97

    • NAID

      130008112874

    • 関連する報告書
      2019 実績報告書
  • [雑誌論文] 母語話者シャドーイングとそれに基づく「聞き取り易さ」の客観的計測2018

    • 著者名/発表者名
      Yutaka Yamauchi, Nobuaki Minematsu, Kayoko Ito, Megumi Nishikawa, KayHusky, Aki Kunikoshi
    • 雑誌名

      日本音声学会全国大会発表論文集

      巻: 1 ページ: 54-59

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] シャドーイング音声自動評価における耐雑音性向上に関する検討2018

    • 著者名/発表者名
      椛島優, 齋藤大輔, 峯松信明, 山内豊, 伊藤佳世子
    • 雑誌名

      日本音響学会秋季講演論文集

      巻: 1 ページ: 829-832

    • 関連する報告書
      2018 実績報告書
  • [雑誌論文] Natives' shadowability as objectively measured comprehensibility of non-native speech2018

    • 著者名/発表者名
      Nobuaki Minematsu, Yusuke Inoue, Suguru Kabashima, Daisuke Saito, Yutaka Yamauchi, Kumi Kanamura
    • 雑誌名

      Proceedings of the 2nd International Symposium on Applied Phonetics

      巻: 1 ページ: 28-35

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] 母語話者シャドーイングによる「聴き取りやすさ」の客観的計測2018

    • 著者名/発表者名
      峯松信明, 山内豊
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 162-163

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] 継続的なシャドーイング訓練が総合的熟達力の伸張に及ぼす影響2018

    • 著者名/発表者名
      山内豊, 伊藤佳世子, 峯松信明, 坪田康,西川惠
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 160-161

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] 音声変形技術を用いたHVTとそれに基づくリスニングの頑健化2018

    • 著者名/発表者名
      峯松信明, 山内豊
    • 雑誌名

      外国語教育メディア学会全国研究大会発表論文集

      巻: 1 ページ: 102-103

    • 関連する報告書
      2018 実績報告書
    • 査読あり
  • [雑誌論文] Automatic speech quality control of English listening materials and examination of Japanese learners’ listening ability in terms of robustness2018

    • 著者名/発表者名
      Haoyu Zhang, Yusuke Inoue, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi and Hinako Masuda
    • 雑誌名

      電子情報通信学会音声研究会発表論文集

      巻: 1 ページ: 1367-1370

    • 関連する報告書
      2018 実績報告書
    • 国際共著
  • [雑誌論文] シャドーイング音声自動評価における耐雑音化と回帰を用いた高精度化2018

    • 著者名/発表者名
      椛島優,齋藤大輔,峯松信明,山内豊,伊藤佳世子
    • 雑誌名

      情報処理学会研究発表論文集

      巻: 3 ページ: 1-6

    • 関連する報告書
      2018 実績報告書
  • [雑誌論文] 母語話者シャドーイングに基づく非母語話者音声の了解性計測に関する予備的検討2018

    • 著者名/発表者名
      井上雄介, 椛島優, 齋藤大輔, 峯松信明, 金村久美, 山内豊
    • 雑誌名

      日本音響学会春季講演論文集

      巻: 3 ページ: 1-6

    • 関連する報告書
      2018 実績報告書
  • [雑誌論文] Investigation of teacher-selected sentences and machine-suggested2017

    • 著者名/発表者名
      Yutaka Yamauchi, Junwei Yue, Kayoko Ito and Nobuaki Minematsu
    • 雑誌名

      Proceedings of Speech and Language Technology in Education 2017

      巻: 1 ページ: 30-35

    • 関連する報告書
      2017 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] 1.語彙サイズ、認識速度、処理の自動化を測定するオンラインL2語彙テストの開発2017

    • 著者名/発表者名
      山内豊,峯松信明,川村明美,西川惠,加藤集平
    • 雑誌名

      外国語教育メディア学会関東支部 研究紀要

      巻: 1 ページ: 1-24

    • 関連する報告書
      2016 実績報告書
    • 査読あり
  • [学会発表] コンテンツ・シャドーイングとリピーティングが 英文内容理解に与える影響2021

    • 著者名/発表者名
      山内 豊
    • 学会等名
      外国語教育メディア学会第60回全国大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 継続的なシャドーイング練習が第2言語の総合的熟達度向上に及ぼす影響2021

    • 著者名/発表者名
      山内 豊
    • 学会等名
      世界応用言語学会
    • 関連する報告書
      2019 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] How much does automatic evaluation based on deep neural network GOP cover prosodic features in L2 oral task assessment?2019

    • 著者名/発表者名
      Megumi Nishikawa,Yutaka ,Yamauchi Kayoko Ito, Kay Huskyand Nobuaki Minematsu
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Verification of Cognitive Load Theory: how much does continuous simultaneous oral reproduction training improve L2 overall proficiency?2019

    • 著者名/発表者名
      Yutaka Yamauchi, Megumi Nishikawa, Kayoko Ito Kay Husky and Nobuaki Minematsu
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] An experimental study of influence of classroom babble noise on automatic assessment of learners’ shadowing speech2019

    • 著者名/発表者名
      Suguru Kabashima, Daisuke Saito, Nobuaki Minematsu, Yutaka Yamauchi, Kayoko Ito
    • 学会等名
      The Institute of Electronics, Information and Communication Engineers
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Inter-learner shadowing with speech technologies enables automatic and objective measurement of comprehensibility of learners' utterances2019

    • 著者名/発表者名
      Megumi Nishikawa,Yutaka ,Yamauchi
    • 学会等名
      The American Association for Applied Linguistics Conference (AAAL 2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Development of an online L2 vocabulary test and the relationship between spoken and written vocabulary and overall proficiency2018

    • 著者名/発表者名
      Yutaka Yamauchi
    • 学会等名
      The 5th International Conference on Foreign Language Learning and Teaching
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Measurement accuracy comparison of a new deep learning-based algorithm with a traditional algorithm in automatic L2 oral assessment2017

    • 著者名/発表者名
      Yutaka Yamauchi, Kayoko Ito, Kay Husky Nobuaki Minematsu, Megumi Nishikawa, Aki Kunikoshi
    • 学会等名
      American Association for Applied Linguistics (AAAL)
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Automatic evaluation of simultaneous L2 oral reproduction tasks with a deep learning-based algorithm2017

    • 著者名/発表者名
      Yutaka Yamauch, Nobuaki Minematsu, Kayoko Ito, Megumi Nishikawa, KayHusky and Aki Kunikoshi
    • 学会等名
      Architectures and Mechanisms of Language Processing
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] The relationship between effective use of working memory and content shadowing performances in L2 processing2017

    • 著者名/発表者名
      Yutaka Yamauchi1, Nobuaki Minematsu, Yasumasa Someya, Akemi Kawamura, Megumi
    • 学会等名
      The 18th World Congress of Applied Linguistics
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Development and Maintenance of Practical and In-service Systems for Recording Shadowing Utterances and Their Assessment2017

    • 著者名/発表者名
      J. Yue, D. Saito, N. Minematsu, Y. Yamauchi & K. Ito
    • 学会等名
      peech and Language Technology in Education
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] Automatic scoring of shadowing speech based on DNN Posteriors and their DTW2017

    • 著者名/発表者名
      J. Yue, F. Shiozawa, S. Toyama, Y. Yamauchi, K. Ito, D. Saito & N. Minematsu
    • 学会等名
      INTERSPEECH
    • 関連する報告書
      2017 実績報告書
    • 国際学会
  • [学会発表] ディープ・ラーニングに基づく新しいアルゴリズムによるシャドーイング自動評価の精度向上2017

    • 著者名/発表者名
      山内 豊・ 峯松 信明・ 伊藤 佳世子・坪田 康・ 西川 惠
    • 学会等名
      外国語教育メディア学会
    • 関連する報告書
      2017 実績報告書
  • [学会発表] 山内 豊・峯松信明・川村明美・西川惠・加藤集平「意味伝達を重視した英語シャドーイングの新しい自動評価システムの開発と評価」2016

    • 著者名/発表者名
      山内 豊・峯松信明・川村明美・西川惠・加藤集平
    • 学会等名
      外国語教育メディア学会
    • 関連する報告書
      2016 実績報告書
  • [学会発表] Automatic Assessment and Error Detection of Shadowing Speech: Case of English Spoken by Japanese Learners2016

    • 著者名/発表者名
      Shuju Shi, Yosuke Kashiwagi, Shohei Toyama, Junwei Yue, Yutaka Yamauchi, Daisuke Saito, Nobuaki Minematsu
    • 学会等名
      InterSpeech 2016
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] A Corpus-based Analysis of Shadowing Speech: Case of L2 English by Japanese Learners2016

    • 著者名/発表者名
      Shuju Shi,Yutaka Yamauchi, Nobuaki Minematsu
    • 学会等名
      ISAPh2016
    • 関連する報告書
      2016 実績報告書
    • 国際学会
  • [学会発表] 誤り検出に基づくシャドーイング音声自動評価の精度向上2016

    • 著者名/発表者名
      峯松 信明・山内豊
    • 学会等名
      外国語教育メディア学会
    • 関連する報告書
      2016 実績報告書
  • [学会発表] タブレットPCを使った英文音読の自動評価システムの開発2016

    • 著者名/発表者名
      山内 豊・峯松信明・川村明美・西川惠・加藤集平
    • 学会等名
      外国語教育メディア学会
    • 関連する報告書
      2016 実績報告書

URL: 

公開日: 2016-04-21   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi