| 研究課題/領域番号 |
20H04300
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62030:学習支援システム関連
|
|---|
| 研究機関 | 独立行政法人大学入試センター |
|---|
研究代表者 |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| 研究分担者 |
中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
須鎗 弘樹 千葉大学, 大学院工学研究院, 教授 (70246685)
宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 准教授 (70726166)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
16,120千円 (直接経費: 12,400千円、間接経費: 3,720千円)
2022年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
2021年度: 5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2020年度: 5,460千円 (直接経費: 4,200千円、間接経費: 1,260千円)
|
|---|
| キーワード | 自然言語処理 / 自動採点 / 機械学習 / 深層学習 / トランスフォーマー / 手書き文字認識 / アンサンブル学習 |
|---|
| 研究開始時の研究の概要 |
センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装する。採点は設問ごとに作題者が用意した「模範解答」と「採点基準」に従いシステムがある程度の精度をもった採点計算（自動採点）を行うことを基本とし、その結果を人間が確認・修正できるものとする。このシステムの最大の特徴は「（予め用意された）模範解答」と「（被験者の実際の）記述解答」との意味的同一性や含意性の判定に採点済みの教師データを使わないことにある。予め別に用意された新聞や教科書、Wikipediaなど別のコーパスなどから自動構築した言語モデルによって判定を行う。
|
| 研究成果の概要 |
近年、自然言語での記述文を順番のある時系列データと見なし、これを入力データとして処理するリカレントニューラルネットワークと呼ばれる深層学習手法、特にバートなどのトランスフォーマーの研究が進み、その性能の良さが証明されてきた。そこで平成29年と30年に実施した共通テスト試行調査12万件による記述回答データを文字認識から一気通貫でバートによる自動採点までを行うことを試みた。我々の共同研究グループは、通常の採点システムが用いる人手による補助輪をしない実運用で平均96％，最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、深層学習に必要な標本サイズについても新たな知見を得た。
|
| 研究成果の学術的意義や社会的意義 |
いままでの研究では学習データに用いるサンプルはせいぜい２千件程度であり、どの程度のサンプルがあれば十分な予測ができるかの目安は与えられていなかった。さらに九大グループでは意味的埋め込みと呼ばれる異なったアプローチによる方法を試みた。これら結果については本科研で3件の学会表彰（日本計算機統計学会第35回大会, 学生研究発表賞；Duolingo Award for IMPS 2021；SMASH22 Winter Symposium,準優秀賞）を受け、その成果については日本教育新聞や日経新聞教育面に大きく掲載された。その後、教育工学のトップ国際会議AIED 2022でも論文採択された。
|
