• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

認知的脆弱性の計測・モデル化と頑健性の向上に基づく国際コミュニケーション支援

研究課題

研究課題/領域番号 22H00527
研究機関東京大学

研究代表者

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

研究分担者 中西 のりこ  神戸学院大学, グローバル・コミュニケーション学部, 教授 (80512285)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
山内 豊  創価大学, 教育学部, 教授 (30306245)
研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード聴取崩れ / 客観的計測 / シャドーイング / オーバーラッピング / 世界諸英語 / 国際コミュニケーション / 集中的訓練
研究実績の概要

A) 2021から2022年度にかけて神戸学院大学にて収録した「北米英語聴取時のシャドーイング音声」を用いて聴取崩れを時系列として計測し,それを用いて,新たな音源に対して聴解崩れを予測するモデルを構築した。学習者によって聴取崩れは異なるため,提示する北米英語の音声的素性,言語的素性以外に,学習者ID,シャドーイング訓練の日数,なども考慮して予測モデルを LSTM によって構築し,一定の精度を得た。B) 韻律オーバーラッピングを,より学習者の動機づけが高まるよう,絵本読み聞かせ時の表情豊かな母語話者英語音声を対象に実施した。また,どのような韻律(高さ,長さ,強さ)に対してその復唱が難しくなるのか,学習者の挙動を客観的に分析した。C) 東大の日本語教室に通う留学生から,世界諸英語音声を収集し,それを互いにシャドーすることで,どの学習者はどのような世界諸英語音声の聴取が難しいのか,あるいは,その学習者の音声はどのような世界諸英語話者にとって聞き取りが難しいのか,を検討した。その様子の可視化も検討し,communicability という新しい尺度を提案した。D) ChatGPT に音声認識,音声合成技術を組み合わせ,ChatGPT を英語で会話するインタフェースを構築し,それを用いた英会話練習について検討を開始した。E) これらの知見を生かし,夏休みに東京大学工学部3年生を対象として,春休みに東京大学工学部2年生を対象として,2ヶ月間毎日行う集中的な英会話トレーニングを実施し,参加者から非常に高く評価された。これらの成果は,音声科学&工学のトップカンファレンスである INTERSPEECH などで発表することができた。CSATEL/Jなど,海外での研究集会においても招待講演という形で発表することができた。国内の発表としては,LET,音声学会,音響学会にて口頭発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

シャドーイングやオーバーラッピング課題を聞く,話す素地を高めるための教育的手段としてのみならず,学習者の聴取の癖,発音の癖を客観的に計測するための手段としても用いることで,学習者の現状の能力に応じた素材を選択できる見込みができた。これらを踏まえ,東大工学部にて夏休みと春休みに2ヶ月毎日行う集中講座を開講したが,予想以上に好評で,学生以外の教員・職員へも展開することが決まり,当初の計画以上に実応用への展開が進んでいる。ChatGPT の利用は当初の予定にはなかったが,シャドーイングによる聴取力向上,オーバーラッピングによる発音力向上のみでは,英会話力(特に,会話の運用していく能力)の向上は難しい。他者との会話が必要であるが,これをChatGPTを相手に実施できる見込みを立てることができた。これは大きな進捗である。

今後の研究の推進方策

A) 聴取崩れ予測モデル(シャドー音声はどの程度崩れるのか)の精緻化を図り,新しい音源が複数ある場合,どの音源から提示すると効果的なのか,その順序を検討する。B) 復唱崩れ予測モデル(オーバーラップ音声はどの程度崩れるのか)の精緻化を図り,新たな音源が複数ある場合,どの音源から提示すると効果的なのか,その順序を検討する。シャドー対象音源とオーバーラップ対象音源は同一である必要があるので,A), B) 両者を考慮して音源設計を考える。C) 世界諸英語音声話者を対象とした相互シャドーイングを継続的に実施し,A), B) との統合を技術的に検討する。D) ChatGPT を用いた英会話力向上については,プロンプトの精緻化を行い,どのような対話タスクが可能なのかを検討する。E) これらの知見を生かした,夏休み,春休みの集中講座を継続的に実施し,学生のみならず,東京大学の教員,職員をも対象として実施する。ChatGPT を用いた会話練習は,会話ドメイン非依存で実施できるため,どのような場面での会話力を上げたいのか,学習者に沿った形で集中講義を実践する。

  • 研究成果

    (40件)

すべて 2024 2023

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 6件) 学会発表 (26件) (うち国際学会 13件、 招待講演 6件) 図書 (8件)

  • [雑誌論文] Effects of a New COIL Project Combining Synchronous Discussions and Asynchronous Video-Based-Exchanges2024

    • 著者名/発表者名
      Yamauchi Yutaka、Mazzotta Mizuki
    • 雑誌名

      Proc.WorldCALL 2023

      巻: - ページ: 79-88

    • DOI

      10.22492/issn.2759-1182.2023.10

    • 査読あり / オープンアクセス
  • [雑誌論文] Which Type of Speaking Test Predicts L2 Overall Proficiency Most?2024

    • 著者名/発表者名
      Yutaka Yamauchi, Megumi Nishikawa
    • 雑誌名

      Proc. Asia TEFL 2023

      巻: - ページ: 453-462

    • 査読あり / オープンアクセス
  • [雑誌論文] Automatic Prediction of Language Learners' Listenability Using Speech and Text Features Extracted from Listening Drills2023

    • 著者名/発表者名
      Gao Yingxiang、Choi Jaehyun、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • 雑誌名

      Proc. INTERSPEECH

      巻: - ページ: 979-983

    • DOI

      10.21437/Interspeech.2023-2541

    • 査読あり / オープンアクセス
  • [雑誌論文] Density and Entropy of Spoken Syllables in American English and Japanese English Estimated with Acoustic Word Embeddings2023

    • 著者名/発表者名
      Shozui Yusuke、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • 雑誌名

      Proc. SLaTE

      巻: - ページ: 131-135

    • DOI

      10.21437/SLaTE.2023-25

    • 査読あり / オープンアクセス
  • [雑誌論文] Learners' Prosodic Control in the Task of Expressive Storytelling and Predicted Native Listeners' Impressions of the Learners' Speech2023

    • 著者名/発表者名
      Shoda Chihiro、Gao Yingxiang、He Yurun、Minematsu Nobuaki、Nakanishi Noriko、Saito Daisuke
    • 雑誌名

      Proc. SLaTE

      巻: - ページ: 46-50

    • DOI

      10.21437/SLaTE.2023-10

    • 査読あり / オープンアクセス
  • [雑誌論文] Sensitivity to Phonemic Contrasts and Insensitivity to Non-phonemic Contrasts of Various Speech Representations Tested for L2 Speech Assessment2023

    • 著者名/発表者名
      Sun Haitong、Gao Yingxiang、Shozui Yusuke、Ma Tong、Minematsu Nobuaki
    • 雑誌名

      Proc. SLaTE

      巻: - ページ: 31-35

    • DOI

      10.21437/SLaTE.2023-7

    • 査読あり / オープンアクセス
  • [学会発表] Online L2 Speech Training Drills with Interactive Gamification to Help Learners Improve Their Skills of Speech Perception and Speech Production2024

    • 著者名/発表者名
      Nobuaki Minematsu
    • 学会等名
      Generative Artificial Intelligence for Teaching Languages Other Than English
    • 国際学会 / 招待講演
  • [学会発表] ChatGPT-Based System for Young Students to Practice Oral Q&A at Their First International Conference2024

    • 著者名/発表者名
      Mayuko Aiba, Nobuaki Minematsu
    • 学会等名
      Generative Artificial Intelligence for Teaching Languages Other Than English
    • 国際学会 / 招待講演
  • [学会発表] 母語話者音声コーパスのみを用いた外国語訛りを有する合成音声の生成2024

    • 著者名/発表者名
      恩田健太郎,朴浚鎔,峯松信明,齋藤大輔
    • 学会等名
      日本音響学会全国大会
  • [学会発表] シャドーイングに基づく学習者音声に対する意味的聴取崩れの主観的ラベリング2024

    • 著者名/発表者名
      崔載鉉,張露元,高英翔,峯松信明,齋藤大輔,中西のりこ
    • 学会等名
      日本音響学会音声研究会
  • [学会発表] 母語の異なる英語学習者間のシャドーイングに基づく発音差異と聴解崩れの相関分析2024

    • 著者名/発表者名
      冨田優,高英翔,齋藤大輔,峯松信明,中西のりこ
    • 学会等名
      日本音響学会音声研究会
  • [学会発表] 国際会議における質疑応答練習を目的とした ChatGPT による質問生成とその評価2024

    • 著者名/発表者名
      相場真由子、齋藤大輔、峯松信明
    • 学会等名
      情報処理学会全国大会
  • [学会発表] The effects of motivation types on L2 shadowing performances and overall proficiency2024

    • 著者名/発表者名
      Andre Novena, Yutaka Yamauchi
    • 学会等名
      The 58th RELC International Conference
    • 国際学会
  • [学会発表] How much does grammatical knowledge contribute to L2 shadowing performances and overall proficiency2024

    • 著者名/発表者名
      Koichi Yamazaki, Yutaka Yamauchi
    • 学会等名
      The 58th RELC International Conference
    • 国際学会
  • [学会発表] The relationship between sound change perception, L2 shadowing performances and overall proficiency2024

    • 著者名/発表者名
      Tatsuya Nirei, Yutaka Yamauchi
    • 学会等名
      The 58th RELC International Conference
    • 国際学会
  • [学会発表] A Unified Framework to Improve Learners' Skills of Perception and Production Based on Speech Shadowing and Overlapping2023

    • 著者名/発表者名
      Nobuaki Minematsu, Noriko Nakanishi, Yingxiang Gao, Haitong Sun
    • 学会等名
      INTERSPEECH (demo session)
    • 国際学会
  • [学会発表] ベトナム人学習者音声に見られる 「母語話者の聴取を崩す」音声的特徴に関する分析2023

    • 著者名/発表者名
      金村久美,峯松信明
    • 学会等名
      CASTEL/J
    • 国際学会
  • [学会発表] 未来を志向することばの教育(1)2023

    • 著者名/発表者名
      佐藤慎司, 峯松信明, 金村久美, 吉田真樹, 中村香苗, モラレス松原礼子
    • 学会等名
      CASTEL/J
    • 国際学会 / 招待講演
  • [学会発表] インタラクティブな韻律可視化・スコア化を伴うオーバーラッピング型音声訓練とその効果2023

    • 著者名/発表者名
      峯松信明,中西のりこ
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] 学習者による英語絵本読み聞かせ音声に観測される韻律的特徴と感情明瞭度に関する分析2023

    • 著者名/発表者名
      峯松信明,正田千宙,高英翔,中西のりこ,齋藤大輔
    • 学会等名
      日本音声学会全国大会
  • [学会発表] 英語聴取力・発話力の自動分析・評価機能を有するオンライン教材の開発2023

    • 著者名/発表者名
      峯松信明,高英翔,中西のりこ,井上雄介
    • 学会等名
      日本音声学会研究例会
  • [学会発表] 聴取力と発話力をシームレスに強化するインタラクティブ性及びゲーム性の高い英語音声トレーニング教材の開発とその効果2023

    • 著者名/発表者名
      峯松信明,高英翔,中西のりこ,井上 雄介,水野 宏明
    • 学会等名
      電子情報通信学会音声研究会
  • [学会発表] シャドーイング訓練によるスピーキング力の伸張を測るのに適したスピーキング・テスト形式2023

    • 著者名/発表者名
      山内豊,峯松信明,西川恵
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] 音声作動記憶(ワーキング・メモリー)テストの開発:総合的熟達度との関係に着目して2023

    • 著者名/発表者名
      山内豊, 西川恵
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] 小学生の英語音声を自動評価するシステムの開発2023

    • 著者名/発表者名
      山内豊
    • 学会等名
      小学校英語教育学会
  • [学会発表] The role of auditory working memory in L2 simultaneous oral reproduction processing2023

    • 著者名/発表者名
      Yutaka Yamauchi
    • 学会等名
      Architectures and Mechanisms for Language Processing 2023
    • 国際学会
  • [学会発表] Development of an online auditory working memory tst for L2 learners2023

    • 著者名/発表者名
      Yutaka Yamauchi
    • 学会等名
      Architectures and Mechanisms for Language Processing 2023
    • 国際学会
  • [学会発表] Enhancing Listening Skills in Global English Varieties Through Building a Shadowing Community2023

    • 著者名/発表者名
      Noriko Nakanishi
    • 学会等名
      The 10th International Conference on English Language Teaching in China
    • 国際学会 / 招待講演
  • [学会発表] Activities for English Oral Communication Training and Assessment: Tailored to Different Proficiency Levels, for Different Purposes, to Improve Different Competencies2023

    • 著者名/発表者名
      Noriko Nakanishi
    • 学会等名
      The 10th AILA East-Asia Forum
    • 国際学会 / 招待講演
  • [学会発表] ハイブリッド授業課題による英語発話の「流暢さ」と「発音」に対する意識づけ2023

    • 著者名/発表者名
      中西のりこ, 大竹翔子, ニコラスマスティ, タムショウイン, 海老原由貴
    • 学会等名
      私立大学情報教育協会 2023年度 ICT利用による教育改善研究発表会
  • [学会発表] ICERC --A longitudinal motivation study based on intercollegiate ER circle activities--2023

    • 著者名/発表者名
      Imura, M, Otsuka, S, Nakanishi, N, Caldwell, M
    • 学会等名
      The Sixth World Congress on Extensive Reading
    • 国際学会
  • [学会発表] 外国語を「聞く耳」「話す口」の獲得を技術的に支援する --日本人が誰でも英語ペラペラになる未来はあるのか?ないのか?--2023

    • 著者名/発表者名
      峯松信明
    • 学会等名
      IEICE ICT PIONEERS WEBINAR
    • 招待講演
  • [図書] Global Perspectives Reading & Writing Book 12024

    • 著者名/発表者名
      中西 のりこ, Nicholas Musty, 大竹 翔子, Tam Shuet Ying, Mary Ellis
    • 総ページ数
      96
    • 出版者
      成美堂
    • ISBN
      978-4-7919-7284-5
  • [図書] Global Perspectives Reading & Writing Book 22024

    • 著者名/発表者名
      中西 のりこ, Nicholas Musty, 大竹 翔子, Tam Shuet Ying, Mary Ellis
    • 総ページ数
      96
    • 出版者
      成美堂
    • ISBN
      978-4-7919-7285-2
  • [図書] Big Dipper English Communication III2024

    • 著者名/発表者名
      石川慎一郎、中西のりこ、Peter J. Hawkes、ドールトン フランク、磯部達彦、真田弘和、増見敦、青田祐子、西岡誠士(中西は全章 発音担当)
    • 総ページ数
      127
    • 出版者
      数研出版
    • ISBN
      978-4-410-84196-5
  • [図書] Crosslink 言語聴覚療法学テキスト 音響・音声学2023

    • 著者名/発表者名
      竹内京子,稲田朋晃編(峯松は2.4, 2.5, 2.6, 2.7節担当)
    • 総ページ数
      152
    • 出版者
      Medial View
    • ISBN
      978-4-7583-2068-9
  • [図書] 英語シャドーイング100本ノック : 決定版2023

    • 著者名/発表者名
      中西 のりこ
    • 総ページ数
      143
    • 出版者
      コスモピア
    • ISBN
      978-4-8645-4193-0
  • [図書] Global perspectives : listening & speaking Book 12023

    • 著者名/発表者名
      中西のりこ, Musty Nicholas, 大竹翔子, Shuet Ying Tam, 海老原由貴, 藤村敬次
    • 総ページ数
      96
    • 出版者
      成美堂
    • ISBN
      978-4-7919-7261-6
  • [図書] Global perspectives : listening & speaking Book 22023

    • 著者名/発表者名
      中西のりこ, Musty Nicholas, 大竹翔子, Shuet Ying Tam, 海老原由貴, 藤村敬次
    • 総ページ数
      96
    • 出版者
      成美堂
    • ISBN
      978-4-7919-7262-3
  • [図書] Big Dipper English Communication II2023

    • 著者名/発表者名
      石川慎一郎、中西のりこ、Peter J. Hawkes、ドールトン フランク、磯部達彦、真田弘和、増見敦、旗谷涼子、青田祐子、西岡誠士(中西は全章 発音担当)
    • 総ページ数
      151
    • 出版者
      数研出版
    • ISBN
      978-4-410-84191-0

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi