2023 Fiscal Year Research-status Report
Building Automatic Scoring System in Interactive Programming Environment
Project/Area Number |
22K02798
|
Research Institution | Muroran Institute of Technology |
Principal Investigator |
石坂 徹 室蘭工業大学, 大学院工学研究科, 助教 (60292075)
|
Project Period (FY) |
2022-04-01 – 2025-03-31
|
Keywords | プログラミング / 自動採点 |
Outline of Annual Research Achievements |
本学で実施してる授業「プログラミング入門」において、実際に使用されている課題、回答に基づいて、自動採点のための方策を検討した。本授業では言語として、Jupyter Notebookで動作するPythonを題材にしており、授業で行われた課題の自動採点プログラムの試作を行った。 ①提出された課題のソースコードに対して、採点基準を正規化しデータとして落とし込むことを行った。データとしては線形化されたテキスト形式(Yamlによって記述)とし、プログラム言語に依存しないフォーマットで試作し、検証を行っている。 ②編集履歴については、「Jupyter Notebookを使ったプログラミング演習のログ解析手 法に関する考察」(人工知能学会第二種研究会資料,2023(KSN-032),07-,2023-03-13,一般社団法人 人工知能学会)で報告した手法に基づいて引き続き分析を行っている。 ③実行結果については、課題として出力が指定された課題が多いため、揺らぎが少ないと考えていたが、理解度の違いにより様々な出力があることが分かった。実行時のエラーについての分析は、ソースコードの判別と同様に基準を設けることが必要であることが分かったため、①と同様のアプローチにより、採点する方法を検討、検証を行っている。 ①③で用いられる採点基準テキストは自動採点プログラムによって解析されるが、採点基準(例:ソースコードに~が含まれる、実行結果が~に等しい、など)に加えて論理演算(NOT, AND, OR)を加える必要があることが分かったため、採点基準テキスト自体を一部構造化言語のような形式にすることを検討している。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
評価方法の検証は実施中だが、採点基準の正規化・線形化の手法は固まりつつあり、自動採点と人間による採点の比較、実証を行える環境が整っている。自動採点を行うための機器を調達し、さらに高速化を目指して開発を行っている。 また、この自動採点システムの利活用方法の検討を改めて行っている。例として、単純に教員による採点に代わるものと位置づけるか、教員のための補助ツールや前処理ツールとして使用するかによって、処理が変わることもあり得ることが分かった。そのため、まずは、本システム利用シーンに合わせたシステムの構築を併せて検討する。
|
Strategy for Future Research Activity |
今後は、実証実験として、構築中の自動採点システムの実データへの活用を検討する。 また、本研究では、採点自体のAI可を目論んでいたが、ChatGPTなどの生成系AI等の利用も一つの選択肢として挙げられることが考えられた。
|
Causes of Carryover |
当初初年度に購入予定だった機器が半導体不足による調達遅れのため購入できず、2023年度に持ち越したため。
|