2022 Fiscal Year Annual Research Report
Measurement and modeling of cognitive breakdown and their use to enhance cognitive robustness for international oral communication
| Project/Area Number |
22H00527
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
峯松 信明 東京大学, 大学院工学系研究科(工学部), 教授 (90273333)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山内 豊 創価大学, 教育学部, 教授 (30306245)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 准教授 (40615150)
中西 のりこ 神戸学院大学, グローバル・コミュニケーション学部, 教授 (80512285)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 聴取崩れ / 客観的計測 / シャドーイング / オーバーラッピング / 世界諸英語 / 国際コミュニケーション / 集中的訓練 |
|---|
| Outline of Annual Research Achievements |
2021から2022年度にかけて神戸学院大学にて収録した「北米英語聴取時のシャドーイング音声」を用いて聴取崩れを時系列として計測し，シャドーイングを継続的に実施することでどのように聴取崩れが減少していくのか（すなわちシャドーイングの効果）を客観的に計測した。42日間の継続的なシャドーイング実施で聴取崩れは極めて効果的に減少する様子が観測された。シャドーイングのみでは学習者は自らの発音を修正する動機が薄いため（発音の化石化を増長するため），シャドーイング直後に同一音源を使った韻律オーバーラッピング課題を導入し，韻律的な改善（これは発音の明瞭度と高めることになる）の有無について客観的に計測，検討した。オーバーラッピング直後の読み上げにおいては韻律改善の効果が得られたが，これは持続せず，更なる訓練の必要性が示唆された。これらを受け，2023年度から東京大学工学部で実施する授業，Special Training for English Academic Communication (STEAC) のデモ授業を実施し，改善点など学生からのふフィードバックを得た。これらの活動は，音声科学＆工学のトップカンファレンスである INTERSPEECH や，応用言語学の国際会議である，CamTESOL, AAAL などで口頭発表することができた。国内の発表としては，外国語教育メディア学会機関誌にて雑誌論文が発表され，外国語教育メディア学会機関誌，音声学会，音響学会にて口頭発表するとともに，社会言語科学会では招待講演として情報提供することができた。音声学会の研究例会では，音声分析，評価技術が埋め込まれたweb外国語音声ドリルを構築するためのオーサリングシステムの開発の様子を発表し，好評を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
シャドーイングに基づく認知的脆弱性（聴取崩れ）の時系列計測を用いて，学習者の聴取精度がどのように向上していくのか，また，シャドーイングのみを実践することの限界について客観的に検討することができた。その解決策として，シャドーイング直後のオーバーラッピングを（音声収録直後に分析結果を表示するなどして）導入することの効果についても検証することができた。シャドーイングとオーバーラッピングを基礎タスクとするweb外国語音声教材を作成するオーサリングシステムの開発も並行して行なっており，その周知活動も行うことができた。2023年度から東京大学工学部にて夏休み，春休みを使った数ヶ月に渡る集中的トレーニングの準備も行うことができた。これらより本プロジェクトは概ね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
A) 学習者のシャドーイング音声を分析することにより，その聴取崩れを定量的・客観的に計測できるが，新たな音源に対してどの程度の聴取崩れが見込まれるのかを予測するモデルを開発する。こうすることで，新たな音源が複数ある場合に，易しい順に提示するなどより効率的な学習を実現することができる。B) 韻律オーバーラッピングに関しては，読み上げ音声のみならず，感情のこもった音声を対象として，より豊かな音声表現を可能とするトレーニングへと進化させるとともに，日本人はどのような韻律表現が難しいのか，韻律生成における困難さについても客観的に分析する。C) 世界諸英語を対象として日本人を含む様々な非母語話者のシャドーイング音声を分析し，ある学習者の音声は世界中の聴取者にどのように聞き取られているのか，また，その学習者は世界中の様々な英語音声をどの程度円滑に聴取できるのか，について分析を開始する。D) 昨今ChatGPTに代表される生成大規模言語モデルを用いた様々な応用が検討されている。シャドーイングを継続することで認知的脆弱性を低減させ，また，韻律オーバーラッピングを継続することで発音の明瞭度を向上させることが期待できる。しかし，英語の口頭運用能力は，聞く，発音する，のみならず「聞きながら考える」「考えながら話す」という訓練も必要である。すなわち他者の存在を前提とした会話練習である。ChatGPTに音声認識，音声合成を統合することで音声でもってChatGPTと会話するインタフェースを用意し，その実用性についても検討を始める。
|
