2023 Fiscal Year Annual Research Report
Measurement and modeling of cognitive breakdown and their use to enhance cognitive robustness for international oral communication
| Project/Area Number |
22H00527
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中西 のりこ 神戸学院大学, グローバル・コミュニケーション学部, 教授 (80512285)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
山内 豊 創価大学, 教育学部, 教授 (30306245)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 聴取崩れ / 客観的計測 / シャドーイング / オーバーラッピング / 世界諸英語 / 国際コミュニケーション / 集中的訓練 |
|---|
| Outline of Annual Research Achievements |
A) 2021から2022年度にかけて神戸学院大学にて収録した「北米英語聴取時のシャドーイング音声」を用いて聴取崩れを時系列として計測し，それを用いて，新たな音源に対して聴解崩れを予測するモデルを構築した。学習者によって聴取崩れは異なるため，提示する北米英語の音声的素性，言語的素性以外に，学習者ID，シャドーイング訓練の日数，なども考慮して予測モデルを LSTM によって構築し，一定の精度を得た。B) 韻律オーバーラッピングを，より学習者の動機づけが高まるよう，絵本読み聞かせ時の表情豊かな母語話者英語音声を対象に実施した。また，どのような韻律（高さ，長さ，強さ）に対してその復唱が難しくなるのか，学習者の挙動を客観的に分析した。C) 東大の日本語教室に通う留学生から，世界諸英語音声を収集し，それを互いにシャドーすることで，どの学習者はどのような世界諸英語音声の聴取が難しいのか，あるいは，その学習者の音声はどのような世界諸英語話者にとって聞き取りが難しいのか，を検討した。その様子の可視化も検討し，communicability という新しい尺度を提案した。D) ChatGPT に音声認識，音声合成技術を組み合わせ，ChatGPT を英語で会話するインタフェースを構築し，それを用いた英会話練習について検討を開始した。E) これらの知見を生かし，夏休みに東京大学工学部３年生を対象として，春休みに東京大学工学部２年生を対象として，２ヶ月間毎日行う集中的な英会話トレーニングを実施し，参加者から非常に高く評価された。これらの成果は，音声科学＆工学のトップカンファレンスである INTERSPEECH などで発表することができた。CSATEL/Jなど，海外での研究集会においても招待講演という形で発表することができた。国内の発表としては，LET，音声学会，音響学会にて口頭発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
シャドーイングやオーバーラッピング課題を聞く，話す素地を高めるための教育的手段としてのみならず，学習者の聴取の癖，発音の癖を客観的に計測するための手段としても用いることで，学習者の現状の能力に応じた素材を選択できる見込みができた。これらを踏まえ，東大工学部にて夏休みと春休みに２ヶ月毎日行う集中講座を開講したが，予想以上に好評で，学生以外の教員・職員へも展開することが決まり，当初の計画以上に実応用への展開が進んでいる。ChatGPT の利用は当初の予定にはなかったが，シャドーイングによる聴取力向上，オーバーラッピングによる発音力向上のみでは，英会話力（特に，会話の運用していく能力）の向上は難しい。他者との会話が必要であるが，これをChatGPTを相手に実施できる見込みを立てることができた。これは大きな進捗である。
|
| Strategy for Future Research Activity |
A) 聴取崩れ予測モデル（シャドー音声はどの程度崩れるのか）の精緻化を図り，新しい音源が複数ある場合，どの音源から提示すると効果的なのか，その順序を検討する。B) 復唱崩れ予測モデル（オーバーラップ音声はどの程度崩れるのか）の精緻化を図り，新たな音源が複数ある場合，どの音源から提示すると効果的なのか，その順序を検討する。シャドー対象音源とオーバーラップ対象音源は同一である必要があるので，A), B) 両者を考慮して音源設計を考える。C) 世界諸英語音声話者を対象とした相互シャドーイングを継続的に実施し，A), B) との統合を技術的に検討する。D) ChatGPT を用いた英会話力向上については，プロンプトの精緻化を行い，どのような対話タスクが可能なのかを検討する。E) これらの知見を生かした，夏休み，春休みの集中講座を継続的に実施し，学生のみならず，東京大学の教員，職員をも対象として実施する。ChatGPT を用いた会話練習は，会話ドメイン非依存で実施できるため，どのような場面での会話力を上げたいのか，学習者に沿った形で集中講義を実践する。
|
