| Project/Area Number |
22K02798
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 09070:Educational technology-related
|
|---|
| Research Institution | Muroran Institute of Technology |
|---|
Principal Investigator |
石坂 徹 室蘭工業大学, 大学院工学研究科, 助教 (60292075)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2023: ¥130,000 (Direct Cost: ¥100,000、Indirect Cost: ¥30,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
|
|---|
| Keywords | プログラミング / 自動採点 / クラウド / 多人数授業 / 演習環境 |
|---|
| Outline of Research at the Start |
プログラミング科目における課題の自動評価は様々な言語、ツールを用いた手法が提案されているが、ソースコードの直接評価を行う手法は少ない。ソースコードの評価は、記述の揺らぎや別解など自動化が難しいことが理由の一つとして挙げられる。また、ソースコードのコーディングの過程を考慮した評価は行われていない。ソースコードの評価においては、このコーディングの過程も結果と合わせて評価することが非常に重要であると考え、プログラミング科目における提出物を「ソースコード」「編集履歴」「実行結果」の３つの情報を用いて自動評価、採点する手法を検討する。
|
| Outline of Annual Research Achievements |
本学で実施してる授業「プログラミング入門」において、実際に使用されている課題、回答に基づいて、自動採点のための方策を検討した。本授業では言語として、Jupyter Notebookで動作するPythonを題材にしており、授業で行われた課題の自動採点プログラムの試作を行った。
①提出された課題のソースコードに対して、採点基準を正規化しデータとして落とし込むことを行った。データとしては線形化されたテキスト形式(Yamlによって記述)とし、プログラム言語に依存しないフォーマットで試作し、検証を行っている。
②編集履歴については、「Jupyter Notebookを使ったプログラミング演習のログ解析手
法に関する考察」（人工知能学会第二種研究会資料,2023(KSN-032),07-,2023-03-13,一般社団法人 人工知能学会）で報告した手法に基づいて引き続き分析を行っている。
③実行結果については、課題として出力が指定された課題が多いため、揺らぎが少ないと考えていたが、理解度の違いにより様々な出力があることが分かった。実行時のエラーについての分析は、ソースコードの判別と同様に基準を設けることが必要であることが分かったため、①と同様のアプローチにより、採点する方法を検討、検証を行っている。
①③で用いられる採点基準テキストは自動採点プログラムによって解析されるが、採点基準（例：ソースコードに～が含まれる、実行結果が～に等しい、など）に加えて論理演算(NOT, AND, OR)を加える必要があることが分かったため、採点基準テキスト自体を一部構造化言語のような形式にすることを検討している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
評価方法の検証は実施中だが、採点基準の正規化・線形化の手法は固まりつつあり、自動採点と人間による採点の比較、実証を行える環境が整っている。自動採点を行うための機器を調達し、さらに高速化を目指して開発を行っている。
また、この自動採点システムの利活用方法の検討を改めて行っている。例として、単純に教員による採点に代わるものと位置づけるか、教員のための補助ツールや前処理ツールとして使用するかによって、処理が変わることもあり得ることが分かった。そのため、まずは、本システム利用シーンに合わせたシステムの構築を併せて検討する。
|
| Strategy for Future Research Activity |
今後は、実証実験として、構築中の自動採点システムの実データへの活用を検討する。
また、本研究では、採点自体のAI可を目論んでいたが、ChatGPTなどの生成系AI等の利用も一つの選択肢として挙げられることが考えられた。
|
