|
本研究は、高等教育におけるレポート評定値と内容の類似度を可視化する「レポート採点支援システム」(椿本・柳澤・赤堀2007)の試行版をふまえて、大学教育現場で実際に活用可能なシステムの構築と技術的評価を行った。具体的には「システムが各レポート内容の類似度に基づいた散布図を2次元マップ上に可視化し、人間の採点者は、可視化結果から評定に精査が必要な文書のみを効率的に閲覧し、何度でも評定を微調整できる」システムを構築した。システムには(1)レポートファイルのアップロード機能、(2)計量テキスト分析ソフトウェアKH Coder(樋口2004)および形態素解析器ChaSenを用いた自然言語処理機能(3)単語×レポート文書行列作成機能、(4)レポート内容の類似度可視化機能、(5)システムとユーザの間で、評定値を対話的に何度でも修正できる機能、(6)コサイン類似度を利用した剽窃発見機能、(7)評定結果のダウンロード機能、を実装した。
システムの計算結果の正確さを評価するために、テストデータを用いた技術的評価を行った。技術的評価では、本システムの中心部分である、文書の意味的類似度の計算とそれに基づく座標値算出の結果について検討した。その結果、コサイン類似度の計算機能が産出した結果はDeerwester(1990)と等しかったことから、類似度計算の正しさが確認された。また、特異値分解から得た2次元座標についてもDeerwester(1990)の結果と比較したところ、当該論文の2次元座標の値と本システムの動作結果は一致していた。したがって、本システムは文章の類似度や座標を正確に計算できることが確認された。
|
