2021 Fiscal Year Research-status Report
Efficient Scoring of student reports in Programing Courses - Similarity Visualizaiotn and Tracing over Time -
| Project/Area Number |
21K02768
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
梅津 信幸 茨城大学, 理工学研究科(工学野), 准教授 (30312771)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 編集距離 / Louvain法 / トークン列 / 3次元的可視化 |
|---|
| Outline of Annual Research Achievements |
1年目は、主として下記の項目に取り組んだ。
(1A) トークン化処理の完成 C言語で書かれたプログラムソース対象とし、コメントや空白文字などを除外した上で、文法的な最小単位のトークン単位で分解する処理を完成させた。この際、数値（即値）や変数名などは表現上の「揺れ」としてそれぞれ同一のトークンに代表させる。
(1B) トークン列間の類似度の評価 2つのトークン列の間の類似度を、2種類定義した。1) 完全一致する部分の長さの総計と、2) トークン列の間の編集距離（レーベンシュタイン距離）を長さで補正した値。これらに基づいて、実際の提出課題に適用して、ソースコード類似度としての実用性を評価した。
(1C) 単一のレポート課題についての可視化 個々のレポート課題ごとに、提出物の相互の類似度に基づいてクラスタリングした結果を2次元的に可視化した。実際に学生から提出されたソースコード7580本を匿名化して評価に用いた。ユーザ評価実験により、提案手法を用いないごく一般的なソースコード確認方法と比較して、本手法は類似性の高いソースコードについて数十倍効率的に発見が可能となることが判明した。200名程度の提出数のレポートの類似度計算と可視化に要する時間は、一般的なノートPCで10秒程度である。
(1D) さらに、当初は2年目に取り組む予定であった、複数のレポート課題の時系列的可視化について、特定の学生に着目し、複数のレポート課題に渡ってどのように類似関係が変化するかに着目して実装した。時系列を3次元空間内に表示し、特定の学生グループが継続的に類似性の高いソースコードを提出している状況を容易に把握可能となった。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
計画していた項目(1A)から(1C)の達成に加え、2年目を予定していた項目(1D)についても前倒しで達成したため。
|
| Strategy for Future Research Activity |
今年度は下記の3項目を中心に研究を進める。
(2A) 時系列的可視化の改良 時系列の変化が把握しやすいよう、3次元的あるいはアニメーション化などの手法で表示を改良する。また、現時点では類似度の可視化と提出物のソースコードの確認が別のウインドウであるため、それを統合して確認作業の効率化を図る。
(2B) 実際の授業におけるレポート採点での試用 これまでの開発で提案手法を実際の講義でのレポート採点に利用する目処が立ったため、今年度の講義で部分的に試用する。加えて、教員やTAによる従来の採点結果と比較し、その一致率や作業効率について評価を行う。特に、類似したソースコードを一括して取り扱えることが、採点の揺れの低減（類似内容の提出物に与える得点の一貫性の確保）をどの程度役立つかを評価する。
(2C) 論文投稿の準備 学術論論文雑誌または国際会議での発表を目指して、論文投稿の準備を進める。
|
| Causes of Carryover |
感染症対策に鑑み、計画していた出張（学会発表等）を次年度に繰り越したため。
|
