2023 Fiscal Year Research-status Report
Exploring Task Achievement for improving scoring efficiency in English speaking tests
| Project/Area Number |
22K00736
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
神澤 克徳 京都工芸繊維大学, 基盤科学系, 准教授 (00747024)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 雄一郎 日本大学, 生産工学部, 准教授 (00725666)
李 在鎬 早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
光永 悠彦 名古屋大学, 教育発達科学研究科, 准教授 (70742295)
田中 悠介 福岡大学, 公私立大学の部局等, 外国語講師 (10908825)
森 真幸 京都工芸繊維大学, 情報工学・人間科学系, 助教 (90528267)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 英語スピーキングテスト / 採点 / Task Achievement / 学習者話し言葉コーパス |
|---|
| Outline of Annual Research Achievements |
本研究は、研究代表者が開発に携わったKIT Speaking Testのデータや、本プロジェクトの前身となる科研費プロジェクトで研究代表者および分担者らが構築したKIT Speaking Test Corpus(KISTEC)を用いて、英語スピーキングテストなどのパフォーマンステストの採点基準の一つであるタスク達成度(Task Achievement)の構成要素を明らかにし、Task Achievementの採点効率化や自動採点システムの開発などに貢献することを目的とする。具体的には、(1)Task Achievementにはどのような能力・要素がどれほど関係（寄与）しているか、(2)また、それぞれの能力・要素はどのように関係し合っているか、の2点を明らかにする。そのための具体的なアプローチとして、KISTECを分析することで定量化可能な指標である「言語的指標」からのアプローチと、人間やAIの評価（スコア）にもとづく指標である「評価的指標」からのアプローチを採用する。
2023年度はこのうち、「言語的指標」からのアプローチを中心とし、KISTECを用いていくつかの基礎的な分析を行った。具体的には、分担者および外部の共同研究者とともに、(1)非流暢性現象（フィラー、繰り返し、自己訂正）と学習者の習熟度の関係、および、(2)コロケーションと学習者の習熟度の関係を分析した。
また、これらの分析と並行して、外部の共同研究者とともに、実用化を目指してTransformerを用いたTask Achievementの自動採点モデルの構築に着手した。これらの成果は国際学会を含む複数の学会やその予稿集で発表した。また、2024年度の発表に向け、いくつかの原稿を投稿した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2023年度は研究代表者である神澤が、所属大学が行う文部科学省支援の「大学の国際化促進フォーラム」プロジェクトの推進にエフォートを割かれていたため、当初予定していたスピーキングテストの採点者を協力者とした検証を実施できなかった。
|
| Strategy for Future Research Activity |
2024年度は、2023年度に実施した「言語的指標」からのアプローチによる分析を継続して行う。それと並行して、2023年度に実施予定であったスピーキングテストの採点者を協力者とした検証を実施し、そのデータにもとづいて「評価的指標」からのアプローチによる分析を行う。2025年度にはその調査の結果をふまえ、Task Achievementの構成要素を特定し、論文等で成果を報告する。また、調査の際に使用したテストタスクや採点基準等を一般公開し、英語教育に貢献する。
|
| Causes of Carryover |
2023年度は研究代表者である神澤が別プロジェクトの推進にエフォートを割かれており、当初予定していた検証を実施できなかった。そのため、次年度使用額が生じた。この検証は2024年度に実施し、繰り越した予算はそのために使用する。
|
