2012 Fiscal Year Research-status Report
短答式記述テストにおける実用的な自動採点システムの開発
| Project/Area Number |
23650558
|
|---|
| Research Institution | The National Center for University Entrance Examinations |
|---|
Principal Investigator |
石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
長塚 豪己 首都大学東京, システムデザイン研究科, 助教 (30384738)
荒井 清佳 独立行政法人大学入試センター, 研究開発部, 助教 (00561036)
|
|---|
| Keywords | 自然言語処理 / 情報システム / 統計数学 / 人工知能 |
|---|
| Research Abstract |
研究開始当時は、解答した答えをアンサーキーと比較し、正確性を測るために再現率と精度という２つの指標を設定することを考えていた。しかしながら、その後、含意関係認識という文法に基づく正統的な自然言語処理技術の利用が有望であることがわかり、国立情報学研究所のメンバーから知見を得ながら研究を進めている。
成果は以下の通り：
(1) 小論文の採点・評価について、昨年度末、モニター調査で行った実証実験をもとに、その成果を日本テスト学会 第10回大会で発表した。石岡・荒井・大久保論文は従来型の800字の小論文についてであり、荒井・大久保・石岡・宮埜論文はそれより短い400字の論述テスト２題についての評価を行った。
(2) エッセイおよび作文テストにおけるコンピュータ利用と自動採点について、日本テスト学会 第10回大会 公開シンポジウムで講演を行い、広く活動を紹介した。また，国立情報学研究所が中心となり，いま人工知能の分野で耳目を集めている「ロボットは東大に入れるか」プロジェクトにおいても，研究代表者が小論文の自動採点について講演を行った。
(3)自動採点に向けた統計処理技術の方法について研究を行い、共同研究者（長塚）が有名雑誌の一つであるComputational Statistics and Data Analysis誌に論文を掲載した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
概ね当初の予定通りに研究が進んでいる。
研究代表者が第１著者として２編の審査論文を通し掲載した。また共同研究者の長塚が一流誌に審査論文を通し、別の共同研究者である荒井も研究代表者と共著で審査論文を掲載した。国内学会での発表も多数ある。
|
| Strategy for Future Research Activity |
我々が取るアプローチは、解答した答えを事前に用意した正解と比較するものである。これは自然言語処理の分野で研究が進んでいる含意関係認識によって達成される。含意関係認識とはテキストAの内容がテキストBの内容を含んでいるかどうかを、膨大な言語集体（コーパス）と高度な構文解析（や意味解析）および情報検索技術を用いて、判断・認識する技術である。これを用いることにより、その含意の程度に応じて、短答式記述問題の自動採点が可能となる。このアルゴリズムについて、国立情報学研究所の新井紀子先生との研究グループと協調をとりながら、今後も研究を進める。
|
| Expenditure Plans for the Next FY Research Funding |
研究代表者は、研究成果の国際会議での発表を予定している。そのための参加登録料や、旅費が必要である。
共同研究者の長塚も昨年同様、総計処理について、幾つかの審査論文の掲載を目指しており、そのための英文校閲費や学会発表旅費が必要である。
|
