2022 Fiscal Year Annual Research Report
Automated Speech Scoring of Dialogue Response by Japanese Learners of English as a Foreign Language
| Project/Area Number |
18K00742
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
林 裕子 佐賀大学, 教育学部, 准教授 (10649156)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
近藤 悠介 早稲田大学, グローバルエデュケーションセンター, 准教授 (80409739)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 発話自動採点システム / スピーキング / 談話完成タスク |
|---|
| Outline of Annual Research Achievements |
令和３年度で作成・実施したタスク（DCT:Discourse Completion Task）に続き、本年度で用いたDCTにおいても高い予測精度が得られたことから、本研究のシステムを全自動（ソフトウェア）化し、大学の通常授業で使用する実証実験を行った。全自動化により、受験から採点、採点結果・フィードバックの提供までの全過程を自動で行うことが可能となった。合計2度の実証研究を行い、第１回目は予備調査を兼ねて小規模で行い、教育学部に在籍し英語教員を目指す大学生18名を対象に実施した。所要時間は約30分で、機器の操作確認、練習問題を行った後（10分）、DCTの受験に進み（約7分）、その役５分後に自動採点結果が返却されるという流れで進めた。その後、５件法による事後アンケートを実施したところ、概ね肯定的な感想が得られたが、「観点の別得点が欲しい」、「近くの人の発話内容が気になる」といった自由記述回答も得られたため、評価基準や実施環境について引き続き精査が必要であることがわかった。第２回目の実証研究では、105名の大学1年生を対象に実施し、本研究課題で作成したDCT2種類すべてを１つのテストに統合し実施した。テスト自体はスムーズに進められたが、即時的な採点結果とフィードバックを提供する際に、サーバーの不具合が生じ、エラーが多発してしまったことが課題点として残った。しかし、DCT1, DCT2の両タスクにおいて、74％(DCT1)、96％（DCT2）という高い予測精度が認められたことは意義があるといえる。
|
Research Products
(4 results)
