2023 Fiscal Year Annual Research Report
Development and improvement of a descriptive automatic scoring system incorporating handwritten character recognition
| Project/Area Number |
23H03511
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
須鎗 弘樹 千葉大学, 大学院工学研究院, 教授 (70246685)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 准教授 (70726166)
古宮 嘉那子 東京農工大学, 工学(系)研究科(研究院), 准教授 (10592339)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 自然言語処理 / 自動採点 / 機械学習 / 深層学習 / 手書き文字認識 |
|---|
| Outline of Annual Research Achievements |
われわれの研究グループでは、大学入学共通テスト試行調査の国語の記述問題（25字から80～100字程度、6問、各6万件）において、手書き文字認識を組み込んだ自動採点で、人間による「理解の補助輪」なしに「ほぼ人間並み（一致率96％）」の精度を達成してきた。「理解の補助輪」とは、汚い文字や消し跡に起因する文字認識の誤りを人手で修正したり、通常のAIシステムが用いるような採点時の細かな判断基準とその適用をコンピュータに教え込むことをいう。本科研では、この人手を介さない文字認識から自動採点までの一気通貫の仕組みを維持しつつ、さらに（1）実用に耐えうるだけの性能（限りなく100％に近い一致率）を確保すること、（2）採点アルゴリズムの汎化（試験問題のタイプが変わってもシステムの採点アルゴリズムを変更しなくても済むようにすること）を達成することを目指している。
このために本年は、自動採点において採点基準を組み込む、いわゆる機械学習による一種のファインチューニングを行うことで、自動採点を行う方法とこれを教育の現場に適用する方法について研究を進め、ジャカルタで開催される国際会議PRICAIにおいて発表した。この国際会議はコンピュータ科学における国際会議ランキングCoreでBランクに位置づけられている。また、手書き文字認識の精度向上についても研究を進め、成果をICDAR 2024に投稿中である。これはCoreでAランクに位置づけられている。また今年度より曖昧性解消の研究を進めているメンバーを新たに加え、書かれた文章の上手さを評価する方法についても着手した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
手書き文字認識から自動採点までの一気通貫の採点システムについては一定の成果が上がり、その結果をインパクトのある学会誌やコンファレンスに投稿中である。本年はその成果が結果として現れるものと期待している。
|
| Strategy for Future Research Activity |
研究分担者である農工大・中川教授の研究グループでは共通テスト試行調査における手書き数式認識という更に難しい問題にチャレンジしている。近年、オープンAI社等による生成系AIの研究が急激に進歩しており、一定の成果を上げた自動採点に代わり、試験問題の自動生成の研究に着手している。インパクトのある国際会議での発表を目指している。
|
