2019 Fiscal Year Research-status Report
Research on educational effect of assessment using split-paper testing in programming classes
| Project/Area Number |
18K02894
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
久野 靖 電気通信大学, 大学院情報理工学研究科, 教授 (00170019)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | プログラミング技能の評価 / 整序問題 / プログラムの基本的な誤り / 誤りの修正プロセス / 形成的評価 |
|---|
| Outline of Annual Research Achievements |
2019年度においては、まず2018年度に取り組んだ、短冊型問題による試験と自由記述型試験の関係についての追試をおこなった。その結果残念ながら、両形式の試験スコア間に2018年度に発見されたような関係は再現されなかった。弱い相関については前年同様確認できているが、この部分は他の研究者からも同様の報告がなされている範囲である。このため、短冊型問題で自由記述と同等の評価が行えるというエビデンスを示す方策については引き続き検討が必要である。
次にもう1つの研究内容として、短冊型問題を用いた練習問題を学習者が実施し、それに対して基本的な誤りを同定してそのことをアドバイスするツールについて取り組んだ。ツールそのものは8月までに開発を完了している。このツールを用いると、短冊型問題形式の練習問題を解いている学習者が「アドバイス」ボタンを押したタイミングで「endの数が足りない」「ifの中でないのにelseがある」「値をいれていない変数を参照している」などの基礎的な誤りが指摘される。このツールの有用性を評価するため、800人が受講するプログラミング入門科目において、任意利用のツールとしてアドバイス機能つきツールを提供し、その使用記録を収集した。その結果、ツールを利用した学習者の使用履歴を見ると、ある特定のアドバイスが表示された以後、比較的速やかに指摘された種類の誤りが訂正できていることが分かった。この状況については、シンポジウムで速報として研究発表している(予稿集にも掲載)。
2019年度に公表した研究成果としては、上記の研究発表のほか、研究発表6件がある。そのほか、本研究直接の成果ではないがプログラミング教育に関係する査読つき論文1編、国際会議発表1編が公表されている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では短冊型問題を使用した形成的評価に自動フィードバックを組み合わせることで、人手を掛けずに学習者に適切なフィードバックを提供し、有効なプログラミング学習を実現することを目標としてきた。前年度は自動フィードバックの設計まで到達せず、短冊型問題の性質評価を中心に取り組んだが、今年度途中までの結果では明確な性質評価には到達していない。一方で今年度からは本来目標としてきた、自動フィードバック機能の設計と試作に進むことができ、開発したツールを実際に授業時に(任意ではあるが)試用し、その結果を得ることができたため、本来の研究の筋道という点では進捗が大きく得られたといってよい。この先、短冊型問題の性質評価は引き続き進めるが、自動フィードバックツールについて改良と評価に主に注力することになる。これらを進めて行くことができる段階に到達したことから、本研究は目的達成の目処が立ったと考えてよい。
|
| Strategy for Future Research Activity |
短冊問題の特性分析については、本研究の土台でもあることから、引き続き進めるが、今後おもに注力するのは2019年度において試作したツールの改良および評価となる。改良の方向としては、アドバイスの提供内容に関する部分、インタフェースに関する部分、そして評価のための枠組みに関する部分(試験ツールと組み合わせる方法)などがある。評価については、2019年度は任意使用の学習者による評価であったが、これをより多くの学習者による評価に広げていく方向で検討する。
|
| Causes of Carryover |
当初計画では2018年度からフィードバックを行う短冊型インタフェースを設計し開発することとしており、この費用を計上していたが、この部分について開発を先送りしており、それ以外の部分(調査研究等の費用を含む)を多く執行した。2019年度に研究代表者によるインタフェース試作が完成し試験評価も進めていることから、2020年度に本開発を発注する計画で進めている。
|
