Exploring Task Achievement for improving scoring efficiency in English speaking tests
| Project/Area Number |
22K00736
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
神澤 克徳 京都工芸繊維大学, 基盤科学系, 准教授 (00747024)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小林 雄一郎 日本大学, 生産工学部, 准教授 (00725666)
李 在鎬 早稲田大学, 国際学術院(日本語教育研究科), 教授 (20450695)
光永 悠彦 名古屋大学, 教育発達科学研究科, 准教授 (70742295)
田中 悠介 福岡大学, 公私立大学の部局等, 外国語講師 (10908825)
森 真幸 京都工芸繊維大学, 情報工学・人間科学系, 助教 (90528267)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 英語スピーキングテスト / 採点 / Task Achievement / 学習者話し言葉コーパス / 学習者コーパス / 評価・測定 / タスク達成度(Task Achievement) / リンガフランカとしての英語 |
|---|
| Outline of Research at the Start |
本研究は、英語スピーキングテストの重要な評価観点であるタスク達成度(Task Achievement)の構成要素を明らかにすることを目的とする。「リンガフランカとしての英語」が主流になっていることを考慮すると、スピーキングテストにおいては発音や文法よりも、英語を使って目的を達成できたかという、タスク達成度の評価が求められる。しかし、現状では、タスク達成度の構成要素が明らかになっておらず、採点者は自身の主観に基づいて評価せざるを得ない。本研究ではコーパス分析や採点者を対象とする調査によってこれを明らかすることで、採点の質向上や効率化、将来的なタスク達成度の自動採点システムの開発に貢献したい。
|
| Outline of Annual Research Achievements |
本研究は、研究代表者が開発に携わったKIT Speaking Testのデータや、本プロジェクトの前身となる科研費プロジェクトで研究代表者および分担者らが構築したKIT Speaking Test Corpus(KISTEC)を用いて、英語スピーキングテストなどのパフォーマンステストの採点基準の一つであるタスク達成度(Task Achievement)の構成要素を明らかにし、Task Achievementの採点効率化や自動採点システムの開発などに貢献することを目的とする。具体的には、(1)Task Achievementにはどのような能力・要素がどれほど関係（寄与）しているか、(2)また、それぞれの能力・要素はどのように関係し合っているか、の2点を明らかにする。そのための具体的なアプローチとして、KISTECを分析することで定量化可能な指標である「言語的指標」からのアプローチと、人間やAIの評価（スコア）にもとづく指標である「評価的指標」からのアプローチを採用する。
2023年度はこのうち、「言語的指標」からのアプローチを中心とし、KISTECを用いていくつかの基礎的な分析を行った。具体的には、分担者および外部の共同研究者とともに、(1)非流暢性現象（フィラー、繰り返し、自己訂正）と学習者の習熟度の関係、および、(2)コロケーションと学習者の習熟度の関係を分析した。
また、これらの分析と並行して、外部の共同研究者とともに、実用化を目指してTransformerを用いたTask Achievementの自動採点モデルの構築に着手した。これらの成果は国際学会を含む複数の学会やその予稿集で発表した。また、2024年度の発表に向け、いくつかの原稿を投稿した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
2023年度は研究代表者である神澤が、所属大学が行う文部科学省支援の「大学の国際化促進フォーラム」プロジェクトの推進にエフォートを割かれていたため、当初予定していたスピーキングテストの採点者を協力者とした検証を実施できなかった。
|
| Strategy for Future Research Activity |
2024年度は、2023年度に実施した「言語的指標」からのアプローチによる分析を継続して行う。それと並行して、2023年度に実施予定であったスピーキングテストの採点者を協力者とした検証を実施し、そのデータにもとづいて「評価的指標」からのアプローチによる分析を行う。2025年度にはその調査の結果をふまえ、Task Achievementの構成要素を特定し、論文等で成果を報告する。また、調査の際に使用したテストタスクや採点基準等を一般公開し、英語教育に貢献する。
|
Report
(2 results)
Research Products
(13 results)
