• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実績報告書

認知的脆弱性の計測・モデル化と頑健性の向上に基づく国際コミュニケーション支援

研究課題

研究課題/領域番号 22H00527
研究機関東京大学

研究代表者

峯松 信明  東京大学, 大学院工学系研究科(工学部), 教授 (90273333)

研究分担者 山内 豊  創価大学, 教育学部, 教授 (30306245)
齋藤 大輔  東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
中西 のりこ  神戸学院大学, グローバル・コミュニケーション学部, 教授 (80512285)
研究期間 (年度) 2022-04-01 – 2026-03-31
キーワード聴取崩れ / 客観的計測 / シャドーイング / オーバーラッピング / 世界諸英語 / 国際コミュニケーション / 集中的訓練
研究実績の概要

2021から2022年度にかけて神戸学院大学にて収録した「北米英語聴取時のシャドーイング音声」を用いて聴取崩れを時系列として計測し,シャドーイングを継続的に実施することでどのように聴取崩れが減少していくのか(すなわちシャドーイングの効果)を客観的に計測した。42日間の継続的なシャドーイング実施で聴取崩れは極めて効果的に減少する様子が観測された。シャドーイングのみでは学習者は自らの発音を修正する動機が薄いため(発音の化石化を増長するため),シャドーイング直後に同一音源を使った韻律オーバーラッピング課題を導入し,韻律的な改善(これは発音の明瞭度と高めることになる)の有無について客観的に計測,検討した。オーバーラッピング直後の読み上げにおいては韻律改善の効果が得られたが,これは持続せず,更なる訓練の必要性が示唆された。これらを受け,2023年度から東京大学工学部で実施する授業,Special Training for English Academic Communication (STEAC) のデモ授業を実施し,改善点など学生からのふフィードバックを得た。これらの活動は,音声科学&工学のトップカンファレンスである INTERSPEECH や,応用言語学の国際会議である,CamTESOL, AAAL などで口頭発表することができた。国内の発表としては,外国語教育メディア学会機関誌にて雑誌論文が発表され,外国語教育メディア学会機関誌,音声学会,音響学会にて口頭発表するとともに,社会言語科学会では招待講演として情報提供することができた。音声学会の研究例会では,音声分析,評価技術が埋め込まれたweb外国語音声ドリルを構築するためのオーサリングシステムの開発の様子を発表し,好評を得た。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

シャドーイングに基づく認知的脆弱性(聴取崩れ)の時系列計測を用いて,学習者の聴取精度がどのように向上していくのか,また,シャドーイングのみを実践することの限界について客観的に検討することができた。その解決策として,シャドーイング直後のオーバーラッピングを(音声収録直後に分析結果を表示するなどして)導入することの効果についても検証することができた。シャドーイングとオーバーラッピングを基礎タスクとするweb外国語音声教材を作成するオーサリングシステムの開発も並行して行なっており,その周知活動も行うことができた。2023年度から東京大学工学部にて夏休み,春休みを使った数ヶ月に渡る集中的トレーニングの準備も行うことができた。これらより本プロジェクトは概ね順調に進展していると考えている。

今後の研究の推進方策

A) 学習者のシャドーイング音声を分析することにより,その聴取崩れを定量的・客観的に計測できるが,新たな音源に対してどの程度の聴取崩れが見込まれるのかを予測するモデルを開発する。こうすることで,新たな音源が複数ある場合に,易しい順に提示するなどより効率的な学習を実現することができる。B) 韻律オーバーラッピングに関しては,読み上げ音声のみならず,感情のこもった音声を対象として,より豊かな音声表現を可能とするトレーニングへと進化させるとともに,日本人はどのような韻律表現が難しいのか,韻律生成における困難さについても客観的に分析する。C) 世界諸英語を対象として日本人を含む様々な非母語話者のシャドーイング音声を分析し,ある学習者の音声は世界中の聴取者にどのように聞き取られているのか,また,その学習者は世界中の様々な英語音声をどの程度円滑に聴取できるのか,について分析を開始する。D) 昨今ChatGPTに代表される生成大規模言語モデルを用いた様々な応用が検討されている。シャドーイングを継続することで認知的脆弱性を低減させ,また,韻律オーバーラッピングを継続することで発音の明瞭度を向上させることが期待できる。しかし,英語の口頭運用能力は,聞く,発音する,のみならず「聞きながら考える」「考えながら話す」という訓練も必要である。すなわち他者の存在を前提とした会話練習である。ChatGPTに音声認識,音声合成を統合することで音声でもってChatGPTと会話するインタフェースを用意し,その実用性についても検討を始める。

  • 研究成果

    (22件)

すべて 2023 2022

すべて 雑誌論文 (5件) (うち査読あり 5件、 オープンアクセス 5件) 学会発表 (14件) (うち国際学会 6件、 招待講演 1件) 図書 (3件)

  • [雑誌論文] Automatic Prediction of Intelligibility of Words and Phonemes Produced Orally by Japanese Learners of English2023

    • 著者名/発表者名
      Zhu Chuanbo、Kunihara Takuya、Saito Daisuke、Minematsu Nobuaki、Nakanishi Noriko
    • 雑誌名

      Proc. Spoken Language Technology

      巻: - ページ: 1029-1036

    • DOI

      10.1109/SLT54892.2023.10023307

    • 査読あり / オープンアクセス
  • [雑誌論文] Gradual Improvements Observed in Learners' Perception and Production of L2 Sounds Through Continuing Shadowing Practices on a Daily Basis2022

    • 著者名/発表者名
      Kunihara Takuya、Zhu Chuanbo、Minematsu Nobuaki、Nakanishi Noriko
    • 雑誌名

      Proc. INTERSPEECH

      巻: - ページ: 1303-1307

    • DOI

      10.21437/Interspeech.2022-101

    • 査読あり / オープンアクセス
  • [雑誌論文] Detection of Learners' Listening Breakdown with Oral Dictation and Its Use to Model Listening Skill Improvement Exclusively Through Shadowing2022

    • 著者名/発表者名
      Kunihara Takuya、Zhu Chuanbo、Saito Daisuke、Minematsu Nobuaki、Nakanishi Noriko
    • 雑誌名

      Proc. INTERSPEECH

      巻: - ページ: 4461-4465

    • DOI

      10.21437/Interspeech.2022-440

    • 査読あり / オープンアクセス
  • [雑誌論文] 未習パッセージを用いた英語シャドーイングの効果2022

    • 著者名/発表者名
      中西 のりこ、峯松 信明、椢原 卓弥
    • 雑誌名

      外国語教育メディア学会機関誌

      巻: 59 ページ: 77~105

    • DOI

      10.24539/let.59.0_77

    • 査読あり / オープンアクセス
  • [雑誌論文] 音声変化を伴う英語発話のディクテーション2022

    • 著者名/発表者名
      中西 のりこ、蘭野 諒太
    • 雑誌名

      英語教育研究

      巻: 45 ページ: 1~20

    • DOI

      10.18989/selt.45.0_1

    • 査読あり / オープンアクセス
  • [学会発表] Effects of karaoke shadowing on EFL learners' segmental and prosodic features2023

    • 著者名/発表者名
      Noriko Nakanishi and Nobuaki Minematsu
    • 学会等名
      CamTESOL
    • 国際学会
  • [学会発表] Automatic prediction of word- and phoneme-unit intelligibility of Japanese learners’ L2 English speech2023

    • 著者名/発表者名
      Nobuaki Minematsu, Noriko Nakanishi
    • 学会等名
      AAAL (American Association of Applied Linguistics)
    • 国際学会
  • [学会発表] 英語絵本読み聞かせ訓練をタスクとした学習者音声の韻律分析とその改善2023

    • 著者名/発表者名
      正田千宙,高英翔,峯松信明,齋藤大輔,中西のりこ
    • 学会等名
      日本音響学会全国大会
  • [学会発表] Possibility of l2 shadowing as effective practice to improve prompt speaking skills2023

    • 著者名/発表者名
      Yuna Ota, Yutaka Yamauchi
    • 学会等名
      57th RELC International Conference
    • 国際学会
  • [学会発表] Does shadowing practice potentially improve working memory capacity and l2 proficiency?2023

    • 著者名/発表者名
      Akemi Kawashima, Yutaka Yamauchi
    • 学会等名
      57th RELC International Conference
    • 国際学会
  • [学会発表] Objective comparison of the effects of L2 shadowing on learners’ speech perception and production2022

    • 著者名/発表者名
      Nobuaki Minematsu, Noriko Nakanishi, Takuya Kunihara
    • 学会等名
      NewSounds
    • 国際学会
  • [学会発表] 学習者音声に対する音素・単語を単位とした明瞭度自動予測 --シャドーイングを用いた評価者の聞き淀みの計測とモデル化--2022

    • 著者名/発表者名
      峯松信明,中西のりこ
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] 外国語学習における効率的な韻律学習とその技術支援2022

    • 著者名/発表者名
      峯松信明
    • 学会等名
      社会言語科学会
    • 招待講演
  • [学会発表] 英語学習者音声の韻律を対象とした自動可視化・採点とその効果2022

    • 著者名/発表者名
      峯松信明,中西のりこ,高英翔,崔ジェヒョン,勝瑞雄介
    • 学会等名
      日本音声学会全国大会
  • [学会発表] 音声分析・認識・合成・評価技術が組み込まれた外国語音声教材の開発を支援するオーサリングシステムの開発2022

    • 著者名/発表者名
      峯松信明,中西のりこ,井上雄介
    • 学会等名
      日本音声学会研究例会
  • [学会発表] 未習の英語教材をシャドーイングさせる練習法の検討 --認知負荷理論と英語熟達度の観点から--2022

    • 著者名/発表者名
      山内 豊, 峯松信明, 西川恵
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] シャドーイング練習の位置づけの違いが 英語学習者発話のモデル音声への近さに与える影響2022

    • 著者名/発表者名
      山内 豊, 峯松信明, 西川恵
    • 学会等名
      外国語教育メディア学会(LET)
  • [学会発表] 3大学合同多読サークルプロジェクト2022

    • 著者名/発表者名
      井村誠, 大塚生子, 中西のりこ, Matthew Caldwell
    • 学会等名
      日本多読学会 2022年度年会
  • [学会発表] Introducing ICERC: A long-term research project based on a joint-university ER circle2022

    • 著者名/発表者名
      Imura, M, Caldwell, M, Nakanishi, N, Otsuka, S
    • 学会等名
      Extensive Reading Around the World 2022
    • 国際学会
  • [図書] コグニティブインタラクション --次世代AIに向けた方法論とデザイン--2022

    • 著者名/発表者名
      植田一博,大本義正,竹内勇剛編(峯松は3.3節,3.7節担当)
    • 総ページ数
      280
    • 出版者
      オーム社
    • ISBN
      978-4-274-22889-6
  • [図書] カタカナ語からはじめる英語の発音2022

    • 著者名/発表者名
      中西 のりこ
    • 総ページ数
      168
    • 出版者
      ひつじ書房
    • ISBN
      978-4-8947-6991-5
  • [図書] Big Dipper English Communication I2022

    • 著者名/発表者名
      石川慎一郎、中西のりこ、Peter J. Hawkes、ドールトン フランク、磯部達彦、真田弘和、増見敦、旗谷涼子、青田祐子、西岡誠士(中西は全章 発音担当)
    • 総ページ数
      151
    • 出版者
      数研出版
    • ISBN
      978-4-410-84186-6

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi