2021 Fiscal Year Research-status Report
CBT対応の英語発話自動採点システムの構築：指導と評価一体化の高大接続に向けて
| Project/Area Number |
18K00742
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
林 裕子 佐賀大学, 教育学部, 准教授 (10649156)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
近藤 悠介 早稲田大学, グローバルエデュケーションセンター, 准教授 (80409739)
石井 雄隆 千葉大学, 教育学部, 准教授 (90756545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 発話自動採点システム / スピーキング / 談話完成タスク |
|---|
| Outline of Annual Research Achievements |
本年度は、大学生238名より収集した、「談話完成タスク(DCT)１」における音声データ（714発話＝238発話×3ターン）を用いて構築した自動採点システムの予測精度をの検証、ならびに、教室環境での運用に取り組んだ。評価に用いた基準、評価の方針、評定者による評価値が付与された少数の発話サンプルを参考にし、評定者と協議の上、評価を予測する特徴量（予測変数）を決定した。本研究では、発話の総語数、“um”、“uh”などの単語として意味のない音(filled pause)の総数、節および句の数を予測変数として用いて、多項ロジスティック回帰を用いて評価を予測した。その結果、本システムの予測精度は72%であり、教室環境での運用を検討できる精度であることが示された。ここまでの実績は国内学会で発表をし、国際誌へも投稿済みである。
教室環境で運用するにあたり、本システムにおける、DCTの実施・採点・フィードバックの全工程が自動化される必要がある。そこでシステムエンジニアの企業と連携し、本システムのソフトウェア化に取り組み、iPad上で実施する全自動化された（Fully Automated) DCT(FA-DCT) を開発した。その後、大学生18名を対象にFA-DCTをCBT型を実施する実証実験を行った。実施からフィードバックの提供まで滞りなく実施できたが、テストの環境（他の受験者の声が気になる、席が近いと他の授業者の発話まで録音される）や採点結果（詳細な分析や、100点満点の尺度を希望）に関しては、改善の余地があることが受験者からのフィードバックで明らかとなったため、最終年度で改良を図る次第である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
開発した自動採点システムを教室環境で運用する段階まで進めることができているため、概ね順調に進んでいるといえる。
|
| Strategy for Future Research Activity |
談話完成タスクは合計３つ作成しており、現在、DCT1のみ全自動化と実証実験が完了している。残りの2つについても同様の作業を進め,発話自動採点システムの改良と有用性について検証を進めていく予定である。そして、最終年度にあたり、国際誌への論文投稿と国際学会での発表を行う予定である。
|
| Causes of Carryover |
参加した学会がすべてオンラインで実施され計上していた交通費の支払い分が余ったため。
|
