2017 Fiscal Year Research-status Report
困難度情報付き絵プロンプトの開発と、その特性のL2発話への影響
| Project/Area Number |
16K02969
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
金子 恵美子 会津大学, コンピュータ理工学部, 教授 (30533624)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
平井 愛 神戸学院大学, 共通教育センター, 准教授 (10554339)
|
|---|
| Project Period (FY) |
2016-04-01 – 2021-03-31
|
| Keywords | L2スピーキング / 絵プロンプト / タスク難易度 / パラレルタスク / ラッシュ分析 |
|---|
| Outline of Annual Research Achievements |
2016年度、2017年度に、同じ難易度（パラレル）と思われる2枚の絵を4セット、合計8枚の絵プロンプトを作成した。それらの絵プロンプト8種類を使用し、日本人英語学習者の発話を録音した。参加したのは理系の学生60名で、全員が初級の上から中級の下（CEFR A2程度）の学習者である。評価のためのルーブリックも作成した。Intelligibility, contentsの2項目、5段階評価のルーブリックで、Intelligibilityについては、pronunciationとgrammar/vocabularyの下位項目２つを設定したが、これらはintelligibilityのスコアを決定するための評価官の参考のために使用した。評価官は、スピーキングテスト評価の経験が豊富な2名が担当し、全発話の約20％を2人で評価するダブルレイティングとし、評価官の一貫性や厳しさの分析に利用した。
本研究の目的は、困難度情報が付与された同じ難易度（パラレル）の絵プロンプトをを作成することである。絵プロンプトの難易度を算出するため、評価結果を多相ラッシュ分析で分析した。ラッシュ分析用ソフトのMinistepを使い、受験者、タスク、評価官の３相による分析であった。8タスクすべてがインフィット平方平均が0.5～1.5内でラッシュモデルが予測する一般的なパターンに沿って、モデルに適合した。
分析の結果、パラレルであるべき2枚の絵、4セットのうち、2セットは難易度に差があった。難易度に差があった2セット、4枚の絵は、発話を録音する際に最初に提示されたプロンプトであり、やり方に慣れていないことが影響した可能性がある。評価官の厳しさには差がなく、スコアの一致率はラッシュモデルが予想する一致率（60％）よりも高い73.7％で評価者間信頼性は高かったと言える。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定としては、2017年度はより多くの絵プロンプトを作成し、ラッシュ分析は最初の3年間に作成したすべての絵プロンプトを使用し、2020年度に行うことになっていた。しかしながら、現時点で開発された絵プロンプトの精度を早めに判断することで、今後の更なるプロンプト開発の参考になると思われたため、前倒しで分析を行った。つまり、絵プロンプト開発は遅れているが、分析は進んでいるため、おおむね順調と判断できる。
|
| Strategy for Future Research Activity |
今年度は、更に難易度の高い絵プロンプトの作成に着手する。現在までに作成した絵プロンプトのストーーリーには、ひねりや予想外の出来事、背景ストーリ―が存在しないが、今年度は意外な顛末や、すとーろに結末に通じる背景が存在するようなストーリーを、3、4セット作成する
パイロットに関しては、難易度が高い分、英語運用能力の高い学習者に被験者になってもらう必要があるため、他大学のより英語運用能力の高い学生や、本校の留学生に被験者を依頼する予定である。
集めたデータは昨年度同様、2名の評価官に評価を依頼する。評価ルーブリックは昨年度使用した物を使用する。評価結果は、多相ラッシュ分析を用いて分析し、パラレルのストーリーの絵プロンプトのペアが、真にパラレルか検証する。
|
| Causes of Carryover |
次年度使用額のほとんどは研究分担者への分担金である。平成29年度は当初の予定では、絵プロンプトの作成を行う予定であったが、上記の理由により、先に分析を行い、新しい絵の開発は平成30年度に変更した。絵の作成にあたり、イラストレーターへの謝金の支払いを研究分担者の分担金で賄う予定であったが、平成29年度は絵の開発を行わなかったため、残額が生じた。平成30年度のプロンプト開発で使用予定である。
|
Research Products
(1 results)
