An Development of automated short-answer scoring system based on deep learning without using supervised scoring data
| Project/Area Number |
20H04300
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
須鎗 弘樹 千葉大学, 大学院工学研究院, 教授 (70246685)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥16,120,000 (Direct Cost: ¥12,400,000、Indirect Cost: ¥3,720,000)
Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
|
|---|
| Keywords | 自動採点 / 自然言語処理 / 機械学習 / 深層学習 / 手書き文字認識 / アンサンブル学習 |
|---|
| Outline of Research at the Start |
センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装する。採点は設問ごとに作題者が用意した「模範解答」と「採点基準」に従いシステムがある程度の精度をもった採点計算（自動採点）を行うことを基本とし、その結果を人間が確認・修正できるものとする。このシステムの最大の特徴は「（予め用意された）模範解答」と「（被験者の実際の）記述解答」との意味的同一性や含意性の判定に採点済みの教師データを使わないことにある。予め別に用意された新聞や教科書、Wikipediaなど別のコーパスなどから自動構築した言語モデルによって判定を行う。
|
| Outline of Annual Research Achievements |
近年、自然言語で記述される文を順番のある時系列データと見なし、時系列データを入力データとして処理するリカレントニューラルネットワークと呼ばれるディープラーニング手法、特にBERTなどのトランスフォーマーの研究が進み、その性能の良さが証明されてきた。そこで平成29年および30年に実施した共通テスト試行調査の計12万件による記述回答データを文字認識から一気通貫でBERTによる自動採点までを行うことを試み、多くの学会で発表した。大学入試センターと農工大の共同研究グループは、通常の採点システムが用いる人手による補助輪をしない実運用で平均96％，最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、機械学習における必要なサンプルサイズについても新たな知見を得た。いままでの研究では学習データに用いるサンプルはせいぜい２千件程度であり、どの程度のサンプルがあれば十分な予測ができるかの目安は与えられていなかった。さらに九大グループでは意味的埋め込みと呼ばれる異なったアプローチによる方法を試みた。これら結果については本科研で3件の学会表彰（１．日本計算機統計学会第35回大会, 学生研究発表賞；２．Duolingo Award for IMPS 2021；３． SMASH22 Winter Symposium,準優秀賞.）を受け、その成果については日本教育新聞や日経新聞に掲載された。千葉大グループも別の方法を試みており、良い結果を得ている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
手書き文字認識から自動採点までの一気通貫の採点システムについては一定の成果が上がり、現時点での最新技術を用いた採点性能についてのメルクマークを示すことができた。
|
| Strategy for Future Research Activity |
研究分担者である農工大・中川教授の研究グループでは共通テスト試行調査における手書き数式認識という更に難しい問題にチャレンジしている。同じく分担者である千葉大・須鎗教授の研究グループでは少ない解答サンプルでも十分な性能を確保できるよう、効果的な学習データのサンプリングについての研究に着手している。この研究を更に進めたい。
|
Report
(2 results)
Research Products
(12 results)
-
-
-
-
-
-
[Presentation] Short answer scoring of the trial test for Japanese Common University Entrance Examination,2021
Author(s)
Oka,H., Hung,N.T., Cuong,N.T., Nakagawa,M., Ishioka,T.
Organizer
IMPS, Duolingo Award
Related Report
-
-
-
-
-
-
