• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Annual Research Report

An investigation of rater variability in the context of teacher employment examinations using a mixed approach

Research Project

Project/Area Number 25370726
Research InstitutionBunkyo University

Principal Investigator

秋山 朝康  文教大学, 文学部, 教授 (20383218)

Project Period (FY) 2013-04-01 – 2017-03-31
Keywords教員採用試験 / パフォーマンステスト / 模擬授業 / 評価者
Outline of Annual Research Achievements

公立の教員採用試験の受験者は全国で約18万人である。最終倍率は各教科や都道府県市で異なるが英語科(中・高)の平均採用率は10%台である(文科省、2016)。不合格になった受験者は一年後に再度受験するか英語教員の道を諦めるかの選択に迫られることになる。教員採用試験は受験者の人生に大きな影響を及ぼす重要なテスト(high stakes test)である。このような重要なテストにも関わらず教員採用試験に関する研究は数えるほどしかない。しかもその多くは1次試験に関するものである(Watanabe, 2008)。Akiyama(2016)は評価者の評価の過程を調べるために評価者3グループ(教育委員会関係者・中学・高校英語教師)に模擬授業を採点してもらい、量的分析(ラッシュ分析)と質的分析(シンク・アラウド法、think-aloud method、評価者になぜそのスコアをつけたのかの理由を声にだしそれを録音し分析する方法)を行った。think-aloud 法の分析結果では主に以下のことが判明した。1)すべての評価者は評価項目を同じように使用していない(評価項目をすべて使用していない)。2)評価項目の使用具合と評価の信頼性と採点の厳しさとはあまり関係がない。3)評価者の偏りの理由は二つにまとめられる。一つは評価項目を適切に使用していない、そして評価に対する(教師としての)教育的価値観と関係がある可能性が高い。上記のthink-aloud法の結果は評価者の「評価者の認知」をある程度明らかにしているがさらなる課題が見つかった。例えば、教員採用試験の模擬授業にはどのようなルーブリック(評価基準表)が適切なのか?や実際に評価する前に誰が訓練し、どのような評価者訓練が必要なのか、どれくらいの評価者訓練が必要なのかなどである。そしてそのような評価者訓練の結果再度検証することが必要となるであろう。

  • Research Products

    (5 results)

All 2017 2016

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (3 results) (of which Int'l Joint Research: 2 results) Book (1 results)

  • [Journal Article] Assessing teacher, 20th Anniversary2016

    • Author(s)
      Tomoyasu Akiyama
    • Journal Title

      Issue of JLTA Journal.

      Volume: special issue Pages: 168-172

    • DOI

      http://jlta2016.sakura.ne.jp/?page_id=24

    • Peer Reviewed
  • [Presentation] Searching into rater variability in employing English teachers using multiple analytic approaches2017

    • Author(s)
      Tomoyasu
    • Organizer
      AAAL
    • Place of Presentation
      Oregon, USA
    • Year and Date
      2017-03-18 – 2017-03-22
    • Int'l Joint Research
  • [Presentation] A Closer Take a Look at Rater Bias in English Teacher Employment Examinations2016

    • Author(s)
      Tomoyasu Akiyama
    • Organizer
      The Pan-Pacific Association of Applied Linguistics
    • Place of Presentation
      Tamkang University, Taiwan
    • Year and Date
      2016-08-22 – 2016-08-24
    • Int'l Joint Research
  • [Presentation] An Investigation of Rater Variability in the Context of Teacher Employment Examinations Using a Mixed Approach2016

    • Author(s)
      Tomoyasu Akiyama
    • Organizer
      International Symposium on Language, Linguistics, Literature and Education
    • Place of Presentation
      Loisir Hotel, Okinawa, Japan
    • Year and Date
      2016-08-02 – 2016-08-04
  • [Book] Studies in Language Testing vol. 44, Language Assessment for Multilingualism2016

    • Author(s)
      Tomoyasu Akiyama
    • Total Pages
      24
    • Publisher
      Cambridge University Press

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi