2017 Fiscal Year Research-status Report

インテリジェンスマイニングによる論述文の自動採点システムの構築と性能評価

Research Project

Project/Area Number	16K00299
Research Institution	Shizuoka University
Principal Investigator	長谷川孝博静岡大学, 情報基盤センター, 准教授 (40293609)
Project Period (FY)	2016-04-01 – 2019-03-31
Keywords	マイニング / インテリジェンスマイニング / 形態要素分析 / 文章採点 / IR
Outline of Annual Research Achievements	本研究の主題であるインテリジェンスマイニング（IM）は、論述文の11品詞と連語の出現率を社説などの手本となる文書の出現率と比較して文書採点を行うアルゴズムである。またこれらの品詞や連語の属する体言（名詞など他に5品詞）、用言（動詞・形容詞・形容動詞）、付属語（助詞・助動詞・連語）の出現率から論述者の適性診断（傾向診断）を行う。研究初年度では、約130名の学生から400字から800字の任意課題の論述文をWEBフォームより収集し、IMによる１）文書採点と２）適性診断を行った。同時に３）IMの文書修正指示に倣って40点レベルの文書評価点を90点に向上させた修正文の2つを130名の学生にIMによる文章向上の結果を例示した。２）と３）の結果について、当該学生らに評価アンケートを実施し、結果をまとめた（１年目報告済）。２年目において本研究は大きな目標を達成することができた。形態要素解析やIMを基礎技術とした文書採点システムSAI（Sentence Achievement and Improvement）システムを統合認証システムと連携させ、静岡大学の学生・教職員を含む12000名の構成員を利用可能にする全学システムとして稼働した。これには国立情報学研究所が提供する学認（https://www.gakunin.jp）の仕組みを利用しているため本学への導入に留まらず学認を利用する多くの大学や研究機関にも同システムの全組織的利用を容易に可能である。最終年度においては、本学の全構成員に同システムの利用を促進し、広範囲の分野と専門性を有する多くの学生と教職員にアンケートを実施する。文章を客観的な指標に基づき機械判定することへの評価分析を行い、本研究の最終目標に到達していく計画である。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason IMで用いた形態要素解析と同じ原理を用いて文章採点システムSAI（Sentence Achievement and Improvement）システムを統合認証システムと連携させ、静岡大学の学生・教職員を含む12000名の構成員を利用可能にする全学システムとして稼働できた。国立情報学研究所が提供する学認（https://www.gakunin.jp）の仕組みを利用しているため本学へ導入に留まらず学認を利用する多くの大学や研究機関にも同システムの全組織的利用を容易に可能となった。当初の計画では、大量の文章を収集し、分析することを計画していたが、学認システムを連携させる方向へ切替えたことにより、本研究の成果を多くの大学・研究機関に利用してもらう基礎が一気に確立した。このことは当初計画の想定範囲を超えているため「当初の計画より進展している」との区分評価とした。
Strategy for Future Research Activity	形態要素解析やIMを基礎技術とした文書採点システムSAI（Sentence Achievement and Improvement）システムを統合認証システムと連携させ、静岡大学の学生・教職員を含む12000名の構成員を利用可能にする全学システムとして稼働できたことは大きな進展として位置づけている。本学の12000名規模の全構成員に同システムの利用を促進し、広範囲の分野と専門性を有する多くの学生と教職員が利用することが可能となった。最終年度においては、本実験フィードを最大限に活用して、アンケート等を通じて、文章を客観的な指標に基づき機会判定することへの評価分析を行い、本研究の最終目標に到達していく計画である。
Causes of Carryover	【次年度試用額が生じた理由】計画より安価な備品や消耗品を購入できたために残額が生じた。【試用計画】学会発表等の費用に有効活用する計画である。