2011 Fiscal Year Annual Research Report
タスクに基づくライティングテストの開発とその有用性に関する総合的評価
| Project/Area Number |
22520572
|
|---|
| Research Institution | Yamanashi Prefectural University |
|---|
Principal Investigator |
杉田 由仁 山梨県立大学, 看護学部, 准教授 (70363885)
|
|---|
| Keywords | ライティング / 評価タスク / 評価行動 / 評定トレーニング / タスクの困難さ |
|---|
| Research Abstract |
思考表出法(think aloud)による評定行動の分析結果に基づき、開発されたタスクに基づくライティングテスト(Task-based Writing Performance Test:TBWT)におけるAccuracyおよびCommunicabilityの評価基準の妥当性検証を試みた。プロトコル・データを分析した結果、Accuracyの評定においては文章構成力の観点における「文章の構成・展開」および言語的正確さの観点における「文法的誤り」に基づく評価行動が最多であった。また、Communicabilityの評定においては伝達内容の質における「考え方や意図の明瞭さ」および情報伝達の効果における「情報量(理由の数)」に基づく評価行動が最多であった。これらの結果は、評定者が主要な尺度の特徴として「文章の構成・展開」「文法的誤り」「考え方や意図の明瞭さ」「情報量(理由の数)」に着目し、評価行動を行っていたことを意味する。さらに、各カテゴリーは25.0%,16.7%,29.5%,16.7%とバランスよく適切に活用されており、TBWTの評価基準は、評定者を妥当な評価行動に誘導したことが明らかになった。
評定者トレーニングの有効性に関しては、実践経験5年以下の中学校教員5名(Trained raters:TRN)を対象として個別に事前トレーニングを実施してから行われた評定結果と、実践経験10年以上中学校教員5名(Untrained raters:UNTIRN)が事前トレーニングを受けずにスコアリング・ガイドのみによって行った評定結果の比較研究を試みた。その結果、TRNはライティングの指導・評価経験が未熟であるにも関わらず、UNTRNよりも一貫した評定を行ったことが明らかになった。
なお、新たな評価タスクをAccuracy,Communicabilityそれぞれ4種類ずつ開発し、TBWT評定経験を持つ3名の中学校教員に「タスクの困難さ(task difficulty)」の専門家評価を依頼した。選定された新タスク(New)と、これまでの研究に置いて信頼性・妥当性が確認されているタスク(Original)を大学生学習者24名に課し、2名のTBWT評定経験者が評価を行った。結果については現在、分析中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2年次以降の課題として設定した1)思考表出法による調査により、評定者がどのような評価行動を行っているかを明らかにする、2)評定者トレーニングの有効性に関する実証研究を行う、3)新たな評価タスクを開発し、その信頼性・妥当性について検証を行う、という課題が達成されつつあるので。
|
| Strategy for Future Research Activity |
新たに開発されたAccuracy,Communicability各4種類の評価タスクについては、その信頼性・妥当性に関する検証作業を順次進めていきたい。また、研究期間の最終年度となるので報告書を作成し、これまでの研究成果の公開・公表を行うことにより、特に中学校・高等学校等の教育現場への成果還元に努めたい。
|
