2020 Fiscal Year Research-status Report

学習コミュニティにおけるオンラインピアレビューの研究

Research Project

Project/Area Number	18K02843
Research Institution	Kansai University
Principal Investigator	本村康哲関西大学, 文学部, 教授 (80299122)
Co-Investigator(Kenkyū-buntansha)	稲葉利江子津田塾大学, 学芸学部, 准教授 (90370098) 小林至道青山学院大学, アカデミックライティングセンター, 助教 (60784692) 毛利美穂関西大学, 東西学術研究所, 非常勤研究員 (70556026)
Project Period (FY)	2018-04-01 – 2022-03-31
Keywords	ピアレビュー / ライティング / ルーブリック / ユーザビリティ
Outline of Annual Research Achievements	当初の研究計画では、2018-2019年度に構築したオンラインピアレビューシステム（ActiveClass）を使って、整備した評価基準による学生レビュアの行動特性がレビューに与える影響を実験によって明らかにし、レビュー較正手法を確立する予定であった。しかし、新型コロナウイルス感染症が拡大し、対面での実験実施が難しくなったため、オンラインでの学生レビュアの評価行動特性を明らかにすることを目的とした予備実験を行った。８月と１２月の２回に分けて学生被験者を対象にレビュー実験、アンケート調査、および、インタビュー調査をビデオ会議システムによってオンラインで行った。レビュー実験は、「観点を中心とした評価：単一観点」よりも「文書を中心とした評価：複数観点」の方が他の観点の評価、特に直前の評価の影響を受けやすいという仮説を検証するものである。学生レビュア８名に対し、人為的にエラーを混入した評価対象文書を読解させ、３種類の観点および３段階の水準を設定したルーブリックによって評価してもらった。実験の結果、複数観点は他の観点の影響を受けやすく、特に、先行評価と後続評価の評価勾配（評価差）が大きい場合は、それを緩和する傾向にあることが明らかとなった。また、単一観点の方が複数観点よりも設定値に近い傾向にあった。このため、ルーブリックのような複数観点を有する評価基準を用いる場合は、一度に複数観点の評価を実施させるよりも、単一観点での評価を行う方が高い精度を保つことができる。これらの成果は、日本教育工学会の論文誌へ論文「オンライン環境下における学生による文章の評価行動」として投稿中である。なお、オンラインピアレビューシステムのユーザインタフェースおよび授業クラスなどの学習コミュニティの違いによるレビューの影響については、2021年度に感染状況をうかがいながら対面実験を実施する予定である。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 研究分担者とともに1回2時間程度のオンラインミーティングを27回行い、1)予備実験計画を進めるとともに、2)被験者（学生レビュア）を募ってオンライン実験を実施した。1)については、3観点3段階のルーブリックの整備を行い、このルーブリックにもとづいてエラーを混入してレベル設定された実験用データを16本作成した。また、被験者に向けた実験手順書を作成し、実験が円滑に遂行できるよう準備を整えた。さらに、被験者の十分な同意が得られるように説明書および同意書を用意した。2)については、8月と12月に各4名、計8名の被験者を募集し、1名につきレビュー実験、アンケート調査、インタビュー調査を3時間にわたって実施した。この実験で得られたデータを分析して雑誌論文として投稿した。一方で、開発したオンラインレビューシステム（ActiveClass）のユーザビリティ評価や、このシステムを用いることによるピアレビュー精度の向上について未評価のため、2021年度において検証を進めていく予定である。
Strategy for Future Research Activity	オンラインレビューシステム（ActiveClass）は、被験者のスマートフォン利用を前提としている。このため、当初の計画では、システム評価実験を代表者の居室（個人研究室）に実験ブースを用意して、評価時の行動も観察しながら、進めていく予定であった。しかしながら、今般の新型コロナウイルス感染拡大により、ビデオ会議システムを利用して実施する方向を模索していくことになった。このため、システム評価実験では、ビデオ会議システムを用いた実験計画を策定し、システムのユーザビリティとピアレビュー精度向上の実効性を評価していく予定である。
Causes of Carryover	新型コロナウイルス感染症の拡大によって都道府県をまたぐ出張が不可能になり、対面での打合せや学会発表が中止されたため、旅費の執行が進まなかった。また、対面実験が困難になったため、当初予定していた被験者数が少なくなり、支出が少なかった。次年度は、AWSでシステムを運用させる費用として、また、システム評価実験の被験者への謝金として使用する予定である。