| 研究課題/領域番号 |
17H01843
|
|---|
| 研究機関 | 独立行政法人大学入試センター |
|---|
研究代表者 |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| 研究分担者 |
峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2020-03-31
|
| キーワード | 自動採点 / 人工知能 / 自然言語処理 / 情報システム / CBT |
|---|
| 研究実績の概要 |
国立情報学研究所が主催するタスク競争型の国際研究集会NTCIR-13のうち質問応答のサブタスク（QALab-3タスク）に我々の研究グループ（大学入試センター・九州大学合同チーム）で参加した。今回のコンペの課題は東大2次試験の世界史（過去5年分）における500字論述試験の解答自動作成とその自動採点である。たとえば「エジプトが文明の発祥以来，いかなる歴史的展開をとげてきたかを、1. エジプトに到来した側の関心や，進出にいたった背景、2. 進出をうけたエジプト側がとった政策や行動の両方の側面を考えながら概観せよ」という設問に対して、指定された８つのキーワードを入れて解答および評価する。このサブタスクには国立高雄応用科技大学、横浜国立大学、淡江大学、名古屋大学、京都大学、早稲田大学、カーネギーメロン大学（2チーム）、慶應義塾大学、DG Labに加え我々の計11チームが参加した。自動採点の評価において、我々は横浜国立大学と並んでトップの成績を収めることができた。評価においては主催者側におけるデータ提供の不備（採点データの少なさと零点採点の多さ）があり、今回のコンペで評価において最も適切と思われる残差２乗和平均を用いれば、我々チームは実質的には単独でトップであるといってよい。日本語記述の自動採点の分野において、フロントランナーであることが改めて証明された。また本システムについてはコンピュータ科学におけるトップカンファレンスの一つであるWeb Intelligence（ライプチヒ）に採択され、発表を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
国際的な研究集会で成果を発表しただけでなく、我々のシステムが比較的長めの解答採点において国内トップレベルの水準であることを示すことができた。
|
| 今後の研究の推進方策 |
高度な判断による寄与の大きい、したがってその採点が難しいと思われる現代国語の問題を研究目標とし、その開発環境を整備する。これはセンター試験の後継となる新テストの記述には比較的自動採点が容易と思われた（教科書に書かれている事実との意味的照合で対応可能な）理科や社会の問題ではなく、国語に記述問題が採用されたことによる。このために近年、注目を浴びている言語における深層学習手法の適用を検討する。研究代表者（石岡）がシステム設計を担当し、研究分担者（峯）がシステムの実装を担当する。
|
