2019 Fiscal Year Research-status Report
学習コミュニティにおけるオンラインピアレビューの研究
| Project/Area Number |
18K02843
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
本村 康哲 関西大学, 文学部, 教授 (80299122)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
稲葉 利江子 津田塾大学, 学芸学部, 准教授 (90370098)
小林 至道 青山学院大学, アカデミックライティングセンター, 助手 (60784692)
毛利 美穂 関西大学, 東西学術研究所, 非常勤研究員 (70556026)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | ピアレビュー / ライティング / ルーブリック / ハロ効果 / オンライン |
|---|
| Outline of Annual Research Achievements |
1. 前年度に開発を行ったオンラインピアレビューシステムの運用・整備
研究分担者が所属する組織の担当授業科目においてシステムを運用することを想定し、科目、名簿、レビューグループの設定が行えるよう更新を行った。また、ピアレビュー時の「レビュア/レビュイの匿名化」機能とともに、「お互い様効果」「ハロ効果」の影響を低減できるスイッチをシステムに付与した。さらに、評価結果の分析を容易にするために、レビュー結果の一括ダウンロード機能も追加した。
2. レビューの歪みを検証するための実験方法/実験環境の検討
今回の実験で対象としたレビューの歪みは、a)前のレビュー結果が次のレビュー結果に与える影響とb)指標の明瞭度がレビュー結果に与える影響の2点である。そのためのデータとして、レビュアが取り組む1)指標、2)評価対象文書を作成した。まず、1)指標は複数の観点について3段階の評価を行うルーブリック形式のものを作成した。つぎに、2)評価対象文書は、レビュイが8000字の論文を800字程度に要約したと想定したものを作成した。この際に、a)b)を調べるために、1)にもとづいて2)に作為的にエラーを混入させ、評価が偏りやすくなるようエラーの種類とパターンを変えて複数のデータを作成した。
さらに、これら1)2)のデータをレビュアに与える環境条件についても検討を行った。当初、対面での実験を想定しながら実験ブースを設置して実施する計画を組み立てていたが、新型コロナウイルス感染症が拡大したため、オンラインでの実験を模索することとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
今年度は32回のSkypeミーティングを行い、1)オンラインピアレビューを実施するシステムの運用・整備を行うとともに、2)レビューの歪みを検証するための実験準備を進めた。1)については、AWS上で常時稼働している状態となっている。2)については、①レビュア、②指標、③コンピュータシステム、④レビュアが所属する組織のうち、①②について検証するための実験用データの整備を行った。また、予備実験協力者の手配も進め、年度末に対面での実験を予定していた。しかしながら、新型コロナウイルス感染症の拡大により、当初予定していた対面実験が困難になったことから、オンラインによる実験方法を模索することとなり、計画がやや遅れている。
|
| Strategy for Future Research Activity |
新型コロナウイルス感染症の影響を鑑みると、今後遠隔授業が一部常態化する可能性がある。その際に、授業の一形態としてオンラインピアレビューが用いられる場面も増えることが想定されるため、その様子を明らかにすることが重要となるであろう。このため、オンラインによる実験手法を確立し、オンライン授業下における研究を進めていきたい。
また、③コンピュータシステム、④レビュアが所属する組織についても研究を進める。③については、前年度に実施できなかったシステム評価を行い、ユーザビリティを改善してピアレビュー簡便に実施できるシステムを目指す。さらに、④についても研究分担者が担当する授業科目での実験データの収集を進め、組織の文化が与える評価への影響についても考察を行う予定である。
|
| Causes of Carryover |
研究分担者に割り当てた旅費について、新型コロナウイルス感染症拡大により出張が中止となったため、次年度に繰り越すこととした。次年度において、打合せのための旅費あるいは書籍購入費用として支出する予定である。
|
