評価者の行動特性に基づくピアレビュー学習システムの構築

2023 Fiscal Year Research-status Report

• Project/Area Number: 21K02792
• Research Institution: Kansai University
• Principal Investigator: 本村 康哲 関西大学, 文学部, 教授 (80299122)
• Co-Investigator(Kenkyū-buntansha): 岩谷 洋史 姫路獨協大学, 人間社会学群, 講師 (00508872) ; 毛利 美穂 関西大学, 東西学術研究所, 非常勤研究員 (70556026) ; 稲葉 利江子 津田塾大学, 学芸学部, 教授 (90370098)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Keywords: ライティング / ピアレビュー / ルーブリック / 評価 / 行動観察

Outline of Annual Research Achievements

本研究ではレポートや卒業論文などの学修成果物を学生同士がピアレビューすることによる学習効果を明らかにするとともに、ピアレビューの精度を向上させるシステムの開発を目的としている。このため、ピアレビューの信頼性、評価教育プログラムの開発、ピアレビューシステムのユーザインタフェース改善について研究を進めてきた。これまで、学生被験者を対象とした文章評価実験とインタビュー調査を行い、質的および量的の両方から研究を進めてきた。
これまでの研究では、1人のレビュアが複数観点を含むルーブリックを用いて文章をレビューする際に、先行評価と後続評価の印象が著しく異なる場合には、後続評価が先行評価の影響を受けやすいことを示した。しかしながらまだ十分なサンプルサイズを得ることができていないため、引き続き実験を実施してデータを収集してその傾向を確認し、補正するシステムおよび教育プログラムを検討していく予定である。また、「評価対象となる課題文」と「評価に用いるルーブリック」のうち参照する順序によって評価行動が異なることを明らかにした。
これらの研究成果は日本教育工学会の論文誌へショートレター形式の論文として投稿したが、条件付き掲載となったため、表現の見直し等を行って再投稿を予定していた。しかし、2022-2023年度は代表者の個人的な事情で作業が進まなかったため、2023年度末から2024年度にかけて論文の再検討を行い、日本教育工学会の研究会への投稿を予定している。
これまでの研究で得られた評価実験データを中心に画面収録ビデオデータの行動観察分析を継続している。ビデオ映像による行動観察データは情報提供者の行動（文章読解時、ルーブリック参照時、評価シート記入時）を記録したものであり、テキストに起こしてコード化を進めている。

Current Status of Research Progress

4: Progress in research has been delayed.

Reason

2022年度に続いて研究代表者の親族が新型コロナウイルス感染症に罹患し急逝したことから自宅整理や相続手続などの対応に追われたため十分な研究時間の確保が困難であった。

Strategy for Future Research Activity

2024年度はこれまでの研究の遅れを取り戻すべく作業を進めていきたい。前年に引き続きこれまで取得した実験データ分析を継続するとともに、研究プラットフォーム“ActiveClass”（課題番号：18K02843で開発）を使用してこれまでの研究の総括を行う。
一方、この2年間に発表されたChatGPTをはじめとするテキスト生成AIが本研究の方向性に与えた影響は大きく、従前のライティング教育そのものが再検討を迫られている。ティーチングアシスタントやピア学生による評価や指導は、読み手から即自的な評価が得られるなど一定の効果は認められつつも、個々のバイアスによる評価の違いや不安定性があり、本研究はこれを吸収することを目的としていた。しかし、学生自身がオンラインの生成AIを利用して自己評価し、文章を修正することはすでに実用的に行われるようになっている今日、生成AIを利用したライティング成果物の評価手法の確立が急務であるため、今後はこれについても検討を進めていきたい。

Causes of Carryover

研究プラットフォーム“ActiveClass”の改修費用に充当する予定であったが、代表者の個人的事情により進捗が遅れているため改修を見送った。今後これまでの研究を振り返りながら新たな実験計画のもとにピアレビュー実験を実施する予定である。使用計画としては、ビデオ分析謝金として10万円、ActiveClassを使用した文章評価実験を10名程度の被験者×2時間＝3万円を計上する。また、クラウドサービス上で稼働しているActiveClassの運用費用として30万円を計上する。また、ActiveClassの改修費用として150万円を計上する。さらに、投稿論文が採録された場合の別刷代3万円、出張旅費として東京×3回＝18万円を計上する。