• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A rating scale and peer assessments in English oral presentations

Research Project

Project/Area Number 20K13133
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 02100:Foreign language education-related
Research InstitutionOsaka Metropolitan University (2022-2023)
Osaka University (2020-2021)

Principal Investigator

田中 美津子  大阪公立大学, 大学院現代システム科学研究科, 准教授 (70732840)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsパフォーマンス評価 / プレゼンテーション / 教室内評価 / ピア評価 / 言語評価 / 評価尺度
Outline of Research at the Start

プレゼンテーションのようなパフォーマンス評価では評価者のバイアスを軽減するために複数人によって評価を行うことが推奨されているが、担当教員一人の授業において複数人の評価者を確保することは難しい。そこで学生同士で行う相互評価(以下、ピア評価)を教員評価の欠点を補う形で活用する案が注目されている。本研究では、ピア評価を教室内評価の一部に活用する前段階として、教員・学生双方が使用する評価尺度、そして、ピア評価の問題点(バイアス)を検証する。

Outline of Annual Research Achievements

プレゼンテーションのようなパフォーマンス評価では評価者のバイアスを軽減するために複数人によって評価を行うことが推奨されているが、担当教員一人の授業において複数人の評価者を確保することは難しい。そこで学生同士で行う相互評価(以下、ピア評価)を教員評価の欠点を補う形で活用する案が注目されている。本課題の主な目的は、ピア評価の問題点(バイアス)を検証することである。本年度は、ジェンダーバイアスと友情バイアスに焦点を当てた研究(研究1)と、性格特性による評価者バイアスに焦点を当てた研究(研究2)に主に取り組んだ。研究1(ジェンダーと友情バイアスの検証)では、収集したデータ(プレゼンテーションのピア評価、友人関係に関するデータ)を多相ラッシュモデルと混合効果モデルを用いて分析した。分析の結果、評価者の性別と被評価者との友人関係によって、若干のバイアスが生じることが明らかになった。この研究結果は、論文執筆、国際誌への投稿を終え、現在査読中である。研究2(性格特性による評価者バイアスの検証)では、収集したデータ(プレゼンテーションのピア評価とビッグファイブに基づく評価者の性格特性)を多相ラッシュモデルと重回帰分析を用いて分析した。分析の結果、協調性が高い評価者の評価は甘くなる傾向にあるなど、学生の性格特性によって評価の厳しさが若干異なることが明らかになった。この研究結果は、4月に開催された国際学会(TESOL 2023 Virtual Convention)において発表した。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

現在のところ、ジェンダーバイアスと友情バイアスに焦点を当てた研究(研究1)については論文執筆と投稿を終えているが、ピア評価者の性格特性に起因する評価者バイアスに焦点を当てた研究(研究2)や、学習コンテクストとピア評価の関係に焦点を当てた研究(研究3、これは前年度に口頭発表を行ったもの))に関しては、論文投稿には至っていない。このため、「やや遅れている」とした。

Strategy for Future Research Activity

本年度は、研究2と研究3の研究結果の論文執筆と投稿を進める。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (2 results)

All 2023 2022

All Presentation (2 results) (of which Int'l Joint Research: 1 results)

  • [Presentation] Big five personality traits and rating behavior in peer assessment2023

    • Author(s)
      Mitsuko Tanaka
    • Organizer
      The TESOL 2023 Virtual Convention
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Peer ratings of presentations in an online vs. in-person learning context2022

    • Author(s)
      Mitsuko Tanaka
    • Organizer
      The 48th annual international conference of the Japan Association for Language Teaching (JALT)
    • Related Report
      2022 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi