2017 Fiscal Year Annual Research Report
AI-based Japanese Short-answer Scoring and Support System
| Project/Area Number |
17H01843
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 自動採点 / 人工知能 / 自然言語処理 / 情報システム / CBT |
|---|
| Outline of Annual Research Achievements |
国立情報学研究所が主催するタスク競争型の国際研究集会NTCIR-13のうち質問応答のサブタスク（QALab-3タスク）に我々の研究グループ（大学入試センター・九州大学合同チーム）で参加した。今回のコンペの課題は東大2次試験の世界史（過去5年分）における500字論述試験の解答自動作成とその自動採点である。たとえば「エジプトが文明の発祥以来，いかなる歴史的展開をとげてきたかを、1. エジプトに到来した側の関心や，進出にいたった背景、2. 進出をうけたエジプト側がとった政策や行動の両方の側面を考えながら概観せよ」という設問に対して、指定された８つのキーワードを入れて解答および評価する。このサブタスクには国立高雄応用科技大学、横浜国立大学、淡江大学、名古屋大学、京都大学、早稲田大学、カーネギーメロン大学（2チーム）、慶應義塾大学、DG Labに加え我々の計11チームが参加した。自動採点の評価において、我々は横浜国立大学と並んでトップの成績を収めることができた。評価においては主催者側におけるデータ提供の不備（採点データの少なさと零点採点の多さ）があり、今回のコンペで評価において最も適切と思われる残差２乗和平均を用いれば、我々チームは実質的には単独でトップであるといってよい。日本語記述の自動採点の分野において、フロントランナーであることが改めて証明された。また本システムについてはコンピュータ科学におけるトップカンファレンスの一つであるWeb Intelligence（ライプチヒ）に採択され、発表を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
国際的な研究集会で成果を発表しただけでなく、我々のシステムが比較的長めの解答採点において国内トップレベルの水準であることを示すことができた。
|
| Strategy for Future Research Activity |
高度な判断による寄与の大きい、したがってその採点が難しいと思われる現代国語の問題を研究目標とし、その開発環境を整備する。これはセンター試験の後継となる新テストの記述には比較的自動採点が容易と思われた（教科書に書かれている事実との意味的照合で対応可能な）理科や社会の問題ではなく、国語に記述問題が採用されたことによる。このために近年、注目を浴びている言語における深層学習手法の適用を検討する。研究代表者（石岡）がシステム設計を担当し、研究分担者（峯）がシステムの実装を担当する。
|
