Development and improvement of a descriptive automatic scoring system incorporating handwritten character recognition
| Project/Area Number |
23K28201
|
|---|
| Project/Area Number (Other) |
23H03511 (2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
古宮 嘉那子 東京農工大学, 工学(系)研究科(研究院), 准教授 (10592339)
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
須鎗 弘樹 千葉大学, 大学院情報学研究院, 教授 (70246685)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 准教授 (70726166)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥18,070,000 (Direct Cost: ¥13,900,000、Indirect Cost: ¥4,170,000)
Fiscal Year 2025: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2024: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2023: ¥6,890,000 (Direct Cost: ¥5,300,000、Indirect Cost: ¥1,590,000)
|
|---|
| Keywords | 自動採点 / 自然言語処理 / 深層学習 / 手書き文字認識 / 機械学習 |
|---|
| Outline of Research at the Start |
記述式試験は多肢選択に比べ測りたいことを直接的に測っているとされ、採点が適切にかつ受容可能な時間で処理できるなら、利用価値が大きいと考えられている。文科省も「思考力・判断力・表現力等」を測定するため、大学入学共通テストでの導入を検討してきた。大学入試のあり方に関する検討会議では、令和７年以降の大学共通テストでの導入は直ちには実現困難であるが、個別大学では記述式問題の出題を推進するとの提言を出した。こうした流れの中で記述式導入の鍵となるのは、人間並みに精度をもった自動採点システムの実現である。我々はこれまで行ってきた自動採点の研究に、最新の自然言語技術を取り入れ、実用的なシステムの実装を目指す。
|
| Outline of Annual Research Achievements |
われわれの研究グループでは、大学入学共通テスト試行調査の国語の記述問題（25字から80～100字程度、6問、各6万件）において、手書き文字認識を組み込んだ自動採点で、人間による「理解の補助輪」なしに「ほぼ人間並み（一致率96％）」の精度を達成してきた。「理解の補助輪」とは、汚い文字や消し跡に起因する文字認識の誤りを人手で修正したり、通常のAIシステムが用いるような採点時の細かな判断基準とその適用をコンピュータに教え込むことをいう。本科研では、この人手を介さない文字認識から自動採点までの一気通貫の仕組みを維持しつつ、さらに（1）実用に耐えうるだけの性能（限りなく100％に近い一致率）を確保すること、（2）採点アルゴリズムの汎化（試験問題のタイプが変わってもシステムの採点アルゴリズムを変更しなくても済むようにすること）を達成することを目指している。
このために本年は、自動採点において採点基準を組み込む、いわゆる機械学習による一種のファインチューニングを行うことで、自動採点を行う方法とこれを教育の現場に適用する方法について研究を進め、ジャカルタで開催される国際会議PRICAIにおいて発表した。この国際会議はコンピュータ科学における国際会議ランキングCoreでBランクに位置づけられている。また、手書き文字認識の精度向上についても研究を進め、成果をICDAR 2024に投稿中である。これはCoreでAランクに位置づけられている。また今年度より曖昧性解消の研究を進めているメンバーを新たに加え、書かれた文章の上手さを評価する方法についても着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
手書き文字認識から自動採点までの一気通貫の採点システムについては一定の成果が上がり、その結果をインパクトのある学会誌やコンファレンスに投稿中である。本年はその成果が結果として現れるものと期待している。
|
| Strategy for Future Research Activity |
研究分担者である農工大・中川教授の研究グループでは共通テスト試行調査における手書き数式認識という更に難しい問題にチャレンジしている。近年、オープンAI社等による生成系AIの研究が急激に進歩しており、一定の成果を上げた自動採点に代わり、試験問題の自動生成の研究に着手している。インパクトのある国際会議での発表を目指している。
|
Report
(1 results)
Research Products
(5 results)
