| 研究概要 |
プログラム自動評価手法を提案し,提案した手法に基づき,初等アセンブラプログラミング評価支援システムの全体を実現し,システム評価を行った.
(1)プログラム自動評価手法の提案:プログラム評価処理は,動作の自動評価と実現方法の評価の2つのフェーズに分けて行う.実現方法の評価は,事例ベース推論によって行こととし,事例の表現方法,事例ベース推論処理法,プログラムの照合方法を考案した.
(2)評価支援システムの実現:実現したシステムは,サーバ,学生用クライアント,教員用クライアントから構成される.動作の自動評価機能は学生用クライアントに,事例ベース推論による実現方法の評価機能はサーバに実装した.事例ベース推論で用いる事例ベースについて,第1バージョンでは事例中のプログラムリストを一般化表現として多くのバリエーションに対処するようにした.その後の検討で,第2バージョンでは事例中のプログラムは一般化表現とせずに,事例ベースを階層構造とした.また,教員の授業準備作業を支援するために,本システムで必要になる問題情報やテストデータを教員が作成,編集するための問題情報エディタと問題情報の簡易なデータベースも開発した.
(3)システムの評価:実際の授業で使用することにより,システム評価を行った.1999年度から2000年度の間に,14回の授業で延べ19問の出題について本システムを使用した.その結果,事例が照合した際に,学生のプログラムが問題の題意を満たしているかどうかの判定精度は,2年間の使用全体では約99%であった.さらにシステムが高確信度で判定を行った場合の精度は教員と同等であることが確認された.一方,教員が評価しなければならないプログラムの数はシステム導入前と比較すると,10%から30%に減少した.これらの結果から,提案した手法が有効であることが確認された.
|
