2023 Fiscal Year Annual Research Report
Efficient Scoring of student reports in Programing Courses - Similarity Visualizaiotn and Tracing over Time -
| Project/Area Number |
21K02768
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
梅津 信幸 茨城大学, 理工学研究科(工学野), 准教授 (30312771)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 抽象構文木 / コード類似度 / クラスタリング / 樹形図 |
|---|
| Outline of Annual Research Achievements |
3年目は、主として下記の項目に取り組んだ。
(3A) 実際の授業におけるレポート採点作業での評価実験 3クラス計200名が履修する初級プログラミングの講義でのレポート課題のべ4000件程度に対し、データを匿名化した上で類似度計算と可視化を実施した。さらに、提案システムによる採点作業効率化についての評価実験では、TAレベルの学生では提案システムの活用度・作業時間短縮にはその能力による個人差があったが、実際は講義担当の教員が利用するため想定する効率改善が図れる見込みが得られた。加えて、講義の成績低位の学生は、履修登録自体が期限間際である、任意参加のアンケートなどへの参加度が低いなど、もともと意欲が低いことの帰結である可能性が強く示唆された。
(3B) クラスタリング法および可視化方法の改良 1, 2年目まではソースコードの類似度の計算にトークンに基づく編集距離、可視化にはLouvain法によるクラスタリング結果を用いていたが、3年目はレポート採点者にとってよりわかりやすい方法を模索した。結果として、コードを抽象構文木（AST）に変換しその行列表現に対する類似度を持ちいい、クラスタリングの結果として樹形図（デンドログラム）を用いることとした。
(3C) 研究成果の公開 上記の結果について国際会議で2件の発表を行い、さらに学術論文誌に論文を投稿中である。
(期間全体) プログラミング講義で提出される大量のレポートの採点効率化を目指し、ソースコード間の類似度に基づく可視化をはじめとして、自動的な整形やプログラムの出力結果の相互比較などの統合により、毎週の採点時間は10-20時間から3-5時間へと十分な効率化が達成された。
|
