2018 Fiscal Year Research-status Report
Research on educational effect of assessment using split-paper testing in programming classes
| Project/Area Number |
18K02894
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
久野 靖 電気通信大学, 大学院情報理工学研究科, 教授 (00170019)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | プログラミング技能の評価 / プログラミング課題の自動採点 / 整序問題 / Computer Based Test / 形成的評価 |
|---|
| Outline of Annual Research Achievements |
2018年度においては、研究内容のうち短冊型問題の性質を究明することを中心に行った。具体的には、まず代表者の担当する授業科目の期末試験において短冊型問題と従来型の自由記述の試験を混ぜる形で実施し、両者のデータの関連を調べた。その結果、ρ=0.48の相関があることが見出せ、短冊型問題と通常形式のプログラミング記述試験の得点は相関しており、短冊型テストによる評価が形成的評価に使用できるとの見通しを得ている。さらに分析において興味深い事柄として、短冊型と通常形式の得点散布図を作成したところ、散布図上で2つの明確に分離したグループが現れており、このグループ各々で相関を計算すると、ρ=0.9以上という高い相関が得られる。ただし、どのような基準でこのグループ分けができあがっているのかはまだ不明である。この結果については、現在、国際会議に中間発表応募中である。2つのグループの違いが明確にできれば、極めて高い制度で短冊型試験の成績から一般的なプログラム記述試験の成績が予測できることとなり、有益な研究となる可能性が現れてきたといえる。なお、これ以前の年度の結果に基づく評価も行っており、これは現在雑誌論文として投稿し、条件つき採録の結果を得て改訂途中である。このほか、査読つき論文ではないが、短冊型問題を授業時の形成的評価ならびに期末試験において大規模に(700名以上の学生)実施した事例を紹介した解説記事を3編、情報処理学会誌に執筆し、掲載されている(一部掲載予定)。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究では短冊型問題を使用した形成的評価に自動フィードバックを組み合わせることで、人手を掛けずに学習者に適切なフィードバックを提供し、有効なプログラミング学習を実現することを目標としてきた。そのため当初計画ではフィードバック機能の開発に初年度から着手することとしていたが、実際に開始してみるとそれは性急であり、短冊型問題が持つ特性を調べ、また関連研究の調査も行った上でフィードバック機能に進むのがよいと考えるようになった。実際、関連研究を調査していくと、短冊型問題と類似した、並べ替えに基づく「クイズ」や試験方式の研究が複数見付かった。ただし、これらは短冊問題と異なる部分も多く、提案方式の独自性・有効性については問題があるとは考えていない。ともかく、これらのことから、2018年度においては調査とこれまでの短冊方式に関する研究に基づき分析を行うことに時間が取られた。しかしこれらのことは論文・学会発表・解説等の成果につながっており、したがって急がないという方針は間違っていなかったものと考えている。
|
| Strategy for Future Research Activity |
現時点ではまだ短冊問題の特性分析も残っており、ここから有益な結果が得られる可能性があるため、この分析は2019年度に引き続き実施したい。ただし、できるだけ速やかにこの分析を終わらせ、フィードバック方法をデザインし試作・評価するという課題に着手できるように努めたい。なお、研究の成果物については、特性分析の結果に基づくものがしばらくは多くなることが予想される。
|
| Causes of Carryover |
当初計画では2018年度からフィードバックを行う短冊型インタフェースを設計し開発することとしており、この費用を形状していたが、この部分について開発を先送りしており、それ以外の部分(調査研究等の費用を含む)を多く執行した。開発は2020年度になると考えているが、場合によっては外注ではなく研究代表者が開発を行うことも考えられる。
|
Research Products
(4 results)
