2018 Fiscal Year Research-status Report
学習コミュニティにおけるオンラインピアレビューの研究
| Project/Area Number |
18K02843
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
本村 康哲 関西大学, 文学部, 教授 (80299122)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
稲葉 利江子 津田塾大学, 学芸学部, 准教授 (90370098)
小林 至道 青山学院大学, アカデミックライティングセンター, 助手 (60784692)
毛利 美穂 関西大学, 東西学術研究所, 非常勤研究員 (70556026)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ピアレビュー / ライティング / eポートフォリオ / ルーブリック / ユーザビリティ |
|---|
| Outline of Annual Research Achievements |
(1)紙ベースとオンラインベースのルーブリックによる評価差の検証
学生同士のピアレビューにおいて、紙ベースルーブリックの運用は、作成、配布、回収、集計の負担が大きい。特にクラスサイズが増大に伴い負担が大きくなるため、システムによるオンラインベース・ルーブリックが相互評価には不可欠である。一方で、紙ベースとオンラインベースに評価差が生じる可能性も考えられる。そこでライティング課題について、両方のルーブリックを用いて自己評価を行い、差異を検討した。その結果、両者の間に有意差は認められなかった。また、教師から学生の評価差が大きい場合には、ルーブリックに記述語が多いため解釈に差が出ている可能性がある。
(2)ポートフォリオシステムへのピアレビュー機能の追加実装
より精度の高いピアレビューのためには、評価バイアスを低減するしくみが必要である。このため、ピアレビュー機能を追加するにあたっては、「お互い様効果」と「ハロ効果」を削減する評価手続を備えることとした。「お互い様効果」は、レビュアとレビュイを相互に入れ替える場合に甘い評価を行う傾向があることをいう。これを抑制するために、あるレビュイを評価したレビュアは、そのレビュイからは評価されないように評価ペアを構成することにした。「ハロ効果」は、複数観点を持つルーブリックで評価を行う際に、レビュイに関する最初の観点評価が後の観点評価に影響を与えることである。また、グループにおける価値観が共有された場合、そのグループメンバー複数が1人のレビュイを評価する際には偏った評価が蓄積される可能性がある。このため、観点毎に複数のレビュイを評価するようにするとともに、1人のレビュイに対して同一グループのレビュアを割り当てないようなユーザインタフェースを実装している。また、レビュアがレビューを行いやすいようにユーザビリティにも配慮している。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、関西大学東京センターにおけるキックオフミーティングをはじめ、14回のSkypeミーティングを開催し、これまでの授業実践で採集したデータをもとに、①レビュアによるレビューへの影響、②指標によるレビューへの影響を分析した。また、ピアレビューのより詳細な分析を行い、既存のポートフォリオシステムにピアレビュー機能を追加した。教師や学生にとってユーザビリティに配慮したユーザインタフェースを備えたモックアップを2017年度以前に作成していたが、これにさらに研究チームでレビューしながらさらに改善を加え、協力企業に業務委託してポートフォリオシステム"TEC-folio"への追加実装を行った。そして、このシステムをクラウドサービスであるAWS上に導入し、どこからでも利用できるようにした。これによって、2年目以降に計画している「③システムのユーザインタフェースがレビューに与える影響」「④大学、授業クラスなどの学習コミュニティの違いによるレビュー」を実施できる準備が整った。また、実装したピアレビュー機能を用いて、研究分担者が担当している授業でデータを採集する具体的な計画も準備している。
|
| Strategy for Future Research Activity |
2019年度は、実装したピアレビュー機能を用いて、ライティングの授業でピアレビューのデータを採集する。その際には実装したピアレビュー機能によって、「①レビュアによるレビューへの影響（お互い様効果とハロ効果による評価の歪みが抑制されているか）」および「②指標によるレビューへの影響（ルーブリックの観点構成がどのようにレビューに影響を与えているか）」について対照実験を実施して検証を行う。
2020年度は、ユーザビリティテストも実施してユーザインタフェースの改善を試みるとともに「③システムのユーザインタフェースがレビューに与える影響」についても検討する。さらに、ピアレビュー機能を複数の大学の授業で使用して「④大学、授業クラスなどの学習コミュニティの違いによるレビュー」についても研究を行う。
|
| Causes of Carryover |
研究分担者に割り当てた旅費のうち、分担者の業務の都合により出張が中止となったため、次年度使用額が生じている。次年度は、ピアレビューシステムを導入したクラウドサービス運用管理費として360,000円(その他)、打ち合わせおよび成果発表出張費用として180,000円(旅費)の使用を計画している。
|
Research Products
(1 results)
