2022 Fiscal Year Research-status Report
Building Automatic Scoring System in Interactive Programming Environment
| Project/Area Number |
22K02798
|
|---|
| Research Institution | Muroran Institute of Technology |
|---|
Principal Investigator |
石坂 徹 室蘭工業大学, 大学院工学研究科, 助教 (60292075)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | プログラミング / 自動採点 |
|---|
| Outline of Annual Research Achievements |
本学で実施してる授業「プログラミング入門」において、実際に使用されている課題、回答に基づいて、自動採点のための方策を検討している。本授業では言語として、Jupyter Notebookで動作するPythonを題材にしているが、Pythonのみならず他のプログラミング言語にも容易に適用可能な評価基準、評価方法を提案する。以下、申請時に記載した着目ポイントについて記述する。
①ソースコードの分析では、プログラミング入門科目の当初基本課題では、学生の解答の記述の揺らぎは少なく、空白・改行除去など前処理や正規表現によるマッチングで対応できているが、単元が進むにつれて、記述の揺らぎに多様性が出ており別の手法を使う必要性が現れている。
②編集履歴については、現在学生の挙動を把握するため、ログ解析を一部行い、手法を提案した。「Jupyter Notebookを使ったプログラミング演習のログ解析手法に関する考察」人工知能学会第二種研究会資料,2023(KSN-032),07-,2023-03-13,一般社団法人 人工知能学会
上記報告では、プログラミング演習において、学生の行動の解析として演習過程の実行ログを機械学習により分析する方法について検討しており、これは本研究の編集履歴、実行結果分析を行うための、アプローチの一つである。
③実行結果は、課題として出力が指定された課題が多いため、揺らぎが少ない。実行時のエラーについての分析は編集履歴の分析とともに行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
現状１年目の実施項目として、（１）データ収集、（２）評価方法の検討（３）システムの構築を行っているが、自動採点システムの構築は海外製品の調達遅れもあり、一部機器導入について見送ったため、一部停滞している。
|
| Strategy for Future Research Activity |
申請書に記述した自動採点システムの構築を行い、評価分析を行う。
過去４年間のデータを分析し、評価方法と評価基準の見直しを行う。さらに、４年間の課題内容・回答内容の変化を鑑み、課題のパラメータに依存しない、線形化された評価基準を策定する。
|
| Causes of Carryover |
物価高騰、物品の到達遅れのため、サーバ機器の導入を見送ったため。
再度物品の検討を行い調達する予定である。
|
