2021 Fiscal Year Research-status Report
評価者の行動特性に基づくピアレビュー学習システムの構築
| Project/Area Number |
21K02792
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
本村 康哲 関西大学, 文学部, 教授 (80299122)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
岩谷 洋史 姫路獨協大学, 人間社会学群, 講師 (00508872)
毛利 美穂 関西大学, 東西学術研究所, 非常勤研究員 (70556026)
稲葉 利江子 津田塾大学, 学芸学部, 准教授 (90370098)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ライティング / 評価 / ピアレビュー / ルーブリック / アイトラッキング / 行動観察 |
|---|
| Outline of Annual Research Achievements |
本研究は、ライティング成果物の①ピアレビューの信頼性向上、②評価教育プログラムの開発、③ピアレビューシステムのユーザインタフェース改善を目的としている。そのために、学生被験者を対象とした文章評価実験を行い、得られたレビュー結果データ、行動観察、アイトラッキング、インタビューデータを分析して、新たな知見を得ようとしている。ピアレビューの信頼性向上はライティング教育に資するとともに、今後増えることが考えられるオンライン学習に寄与することを目指している。
2021年度は新型コロナウイルス感染症の拡大に伴う緊急事態宣言等の発出によって文章評価実験を行うことができなかったが、これまでの研究で得られた評価実験データを中心に画面収録ビデオデータを用いた行動観察とインタビューデータの分析を進めてきた。その結果、レビュア被験者が評価を実施する際に、「評価対象となる課題文」と「評価に用いるルーブリック」のうち参照する順序によって評価行動が異なることが明らかとなった。「課題文」を先に参照する場合はマウスポインタの動きがほとんど見られず、文章を精読する様子がうかがえた。一方「ルーブリック」を先に参照する場合はマウスポインタを頻繁に動かす行動が見られた。これらの結果は2022年3月16-17日にオンライン開催された第28回大学教育研究フォーラムにて「ルーブリック評価における評価行動プロセスの観察」としてポスター発表を行った。来場者からは「これまでの読みの認知研究ではなく、ピアレビューのシステムを目的としているところが非常に興味深い」というコメントをいただいた。
行動観察によって得られた知見は、ピアレビュー評価を学習者に実施させる場面において課題文とルーブリックのどちらを先に参照させるかという問題を示唆している。今後評価教育プログラムの開発にも反映していきたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2021年度はアイトラッキング装置を使用して学生被験者に文章を評価してもらう実験を実施する計画であったが、感染症拡大による緊急事態宣言の発出が2度あったため実施することができなかった。このため、2020年度に実施したオンライン文章評価実験で取得した画面録画ビデオデータ（約7時間）を用いて、行動タグを付与しその行動のタイムスパン計測を行う作業を進めていた。この作業は動物行動学を専門とする研究者への外部委託する予定であったが、事務手続に時間を要したため2022年度に繰り越すこととなった。
|
| Strategy for Future Research Activity |
2022年度はアイトラッキング装置を用いた文章評価実験の実施をめざし、研究プラットフォーム“ActiveClass”（課題番号：18K02843で開発）を使用した実験計画、被験者募集、評価課題文選定/作成、ルーブリック、統計手法の検討を行っていくことを予定している。
われわれの研究グループではこれまでもオンラインビデオ会議システムを利用した遠隔会議を頻繁に実施することで時間的・空間的距離の縮小を図って効率的な研究を進めてきた。しかしながら、研究代表者・分担者ともに昨今の社会変化に伴う学内外業務の急激な増加によって研究以外の時間をより多く取られることとなっている。研究時間の確保は喫緊の課題であるものの早急な解決策を見いだすことができていないが、より一層の業務効率を向上させることで研究時間の確保を試みる。
|
| Causes of Carryover |
2021年度に予定していた予算は研究プラットフォーム“ActiveClass”の改修費用に充当する予定であったが、研究の進捗が遅れているため翌年度に繰り越した。今後これまでの実験データを振り返ることでシステム改修個所の仕様を策定して改修を実施していく予定である。
使用計画としては、クラウドサービス上で稼働しているActiveClassの運用費用として32万円、改修費用として200万円を計上する。また、ActiveClassを使用した文章評価実験を10名程度の被験者×2時間＝3万円を計上する。さらに、投稿論文が採録された場合の別刷代3万円、出張旅費として東京×2回＝10万円を計上する。
|
Research Products
(1 results)
