Concrete standard setting for contents of utterance in oral summary tasks
| Project/Area Number |
20K13101
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 02100:Foreign language education-related
|
|---|
| Research Institution | Hirosaki University |
|---|
Principal Investigator |
横内 裕一郎 弘前大学, 教育推進機構, 助教 (40782800)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | スピーキング評価 / 言語テスティング / ルーブリック / 要約 / 発話内容 / 評価 / 発話分析 / スピーキング |
|---|
| Outline of Research at the Start |
本研究で扱う口頭要約課題は、文章を読んだり話を聞いたりした内容を解釈し、自身の表現を用いて話す活動である。この課題は高等教育における学習・研究活動において重要な能力、具体的には、文章を読んだり聞いたりした上で、その内容をまとめて話す能力を養成することが可能なタスクである。しかし、読んだり聞いたりする文章の内容によって評価基準が有効に機能しないことも想定される。どのような文章を読んだり聞いたりした場合でも同様に発話内容を評価できるような評価基準を構築する必要がある。そこで、一般化可能な評価基準を作成することを目的として研究を遂行する。
|
| Outline of Annual Research Achievements |
2021年度報告で示した推進方策では，データの収集・採点等を2022年度中に完了させることと，採点（評価）データの分析を始めることを予定していたが，1次データのデータ収集及び評価は完了した。欠損や音質の悪いデータを除いた64名のデータを研究協力者2名を含め，英語教育を専門とする大学教員3名が発話内容の観点でパフォーマンスを大まかに4分割し，その情報及びコメントを元に記述子（質問形式）をつけるというTurner and Upshur (1996)のEBB（empirically derived, binary-choice, boundary-definition）scaleの作成手法に則った方法でルーブリックの作成を行った。その後Fulcher (2011) によるPerformance Decision Treeの記述に近い形式に修正し，現在正式な第1回目の評価（申請時点で評価者5名）を行っている段階にある。
また，妥当性の検証を行う上で使用するMany-Facet Rasch Measurement (MFRM) について，最新の手法であるUto and Ueno (2020) によるGeneralized MFRM を用いた分析が本研究にも応用可能であるかを検証するため，過去の研究で収集したデータを用い，Generalized MFRMのを用いる利点が大きいと判断した。本研究のように少ないサンプルでも安定したパラメーターの推定が可能であると判断したため，今後の分析ではモデルが複雑にならない場合（3相：Student×Rater×Task，あるいはStudent×Rater×Item: この場合のItemはルーブリックの種類）には上記のモデルを使用して分析を行いたい。一方，4相以上のモデルで分析を行う場合は従来のモデルを使用する場合があると考えている。
以上のように，データの収集・評価は順調に進んでおり，分析手法についても方針が確定した。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
当初，研究期間の3年目として，2度めの評価活動とリーブリックの修正及び妥当性の検証に入る予定だったが，これまでの新型コロナウイルス感染症蔓延によるデータ収集と評価の遅れが影響した上，研究代表者が疾病のため2022年度に3ヶ月休業したことにより，事前に想定していた計画が1年後ろ倒しになっている。ただし，パイロット版のルーブリックは完成し，評価者も複数名集めて評価を進めており，今後の分析には十分なデータを用意できそうである。
|
| Strategy for Future Research Activity |
2023年度内には，これまでに作成したルーブリックの妥当性検証を行い，その成果を学会等で発表予定である。また，追加の課題となるが，実際の授業において，本研究で作成したルーブリックを使用して要約の評価を行い，学生への波及効果を探りたいと考えている。これらを2024年1月までに終え，2024年3月までに本研究課題の根幹を成す部分をまとめて論文投稿を行う予定である。それに加え，2024年2月あるいは3月に成果発表会を開催しようと考えている。
|
Report
(3 results)
Research Products
(10 results)
