2017 Fiscal Year Research-status Report
日本人大学生の英語要約力検証と大学英語ライティング教育用要約教材の開発
| Project/Area Number |
16K02983
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
澤木 泰代 早稲田大学, 教育・総合科学学術院, 教授 (00276619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | ライティング指導 / ライティング評価 / 要約作成 / 一般化可能性分析 / ライティング・プロセス |
|---|
| Outline of Annual Research Achievements |
本研究では、日本人大学生英語学習者が英文を読み、その要約を英語で書く能力の特性を検証し、その結果を基に、作成する英文要約教材の指導効果を検証することを目的とする。研究2年目にあたる平成29年度は、（１）前年度作成したタスク・採点尺度に基づく基礎データの量的分析（一般化可能性分析）と（２）要約タスク解答プロセスの質的分析結果をまとめ、2件の学会発表を行った。
（１）採点基準の一般化可能性分析（国際学会発表）：英語学習者の要約タスク解答における言語使用に関する尺度(「言語）と、内容の正確性・適切性に関する採点尺度2つ（「要点」と「統合」）の計3つについて、昨年度収集した早稲田大学教育学部生162名の解答の採点結果を多変量一般化可能性理論で分析した。この結果、①各尺度間の相関は低～中程度で、これらの尺度から言語と内容を区別して情報を取り出すことができること、また②いずれの尺度も利害関係が低い目標規準準拠テストに使用できる程度の信頼性があることが確認された。テクスト間や採点者ペア間を比較すると「統合」尺度の信頼性が他より高く安定しており、要約内容評価の上でのこの尺度の有用性が確認された。
（２）要約タスク解答プロセスの分析（国内学会発表）：昨年度学習者５名が参加した実験観察者記録と、Writing Maetrix（石井・石井・川口・阿部・西村・草薙, 2015）によるキー入力記録、学習者の刺激再生法プロトコルを組み合わせ、要約作成プロセスを質的に検証した。この結果、①テクストを読む段階でのノートの取り方や内容のまとめ方、②解答を始めるまでの準備時間の長さや、解答を始めてからタスク完了までにおけるキー入力のペース・修正の頻度などにおいて、解答プロセスの多様性が示された。また、先行研究に挙げられている方略の他、修正のタイミングが英語圏で実施された研究結果と違うことなどが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
次の点については当初の予定を変更しているが、今年度完了できる見込みである。
（１）作成した教材の使用効果を検証することを目的とした早稲田大学教育学部「Academic Reading & Writing」授業における本実験実施は、当初平成29年度内の実施を予定していたが、より授業に役立てられる指導内容とするべく指導担当者と話し合いを重ねるため、また実験デザインについて理論的・手法的に様々な点から精査するためにも時間が必要なことから、30年度秋に実施の予定である。また、学生の要約解答の談話特徴量に関する変数計算（例：CRAT: Crossley, Kyle, Davenport, & McNamara, 2016）と、多相ラッシュ・モデルによる能力値計算、因子分析による各変数間の関係性のモデル化の検討についても、安定した結果を得るうえで標本サイズが大きい方が望ましいため、過去2年分のデータと、平成30年度収集予定のデータの等化を試みた上で進めることとした。
（２）要約解答に関する学生へのフィードバック作成について、剽窃を避け、英文資料を英語で適切にパラフレーズできているかどうかについて学生の注意を促すため、本文と資料テクストの一致箇所をハイライトし、フィードバックとして提示することは、昨年度末の時点では具体的な方法が特定できなかったため、未解決の課題として示した。しかし、その後の検討により解決策としてPythonを使ったプログラミングと自然言語処理に基づく分析が考えられることがわかったため、今年度はこの手法による分析を試みる予定である。また、平成29年度に収集した学習者の要約解答をパラフレーズのしかたに焦点を当てて質的に分析した結果、本文の複製や、それにかなり近いものを含む解答が多数あることが分かった。関連の点について当初通りフィードバック作成する必要性を裏付ける結果となった。
|
| Strategy for Future Research Activity |
今後は「現在までの進捗状況」に示したものの他に、下の作業を進める。
（１）量的データ分析：上記の一般化可能性分析の結果を受けて、採点尺度の信頼性向上をはかるため採点尺度定義と採点ルールを明確化し、平成29年度に早稲田大学教育学部学生135名から新たに得られた要約解答データを基に一般化可能性分析で再分析をする。また、使用している採点尺度が測る構成概念の理解を深めるため、他のアカデミック英語力の指標（TOEFL iBTスコア、Criterionエッセー・スコア）や、Kintsch・van Dijk (1978) の談話処理モデルに基づく、要約を生成において書き手が使用すると考えられるマクロ・ルールの使用頻度との関係を、回帰分析により検証する。
（２）質的データ分析：平成29年度には、3名の参加者から新たなデータが得られたが、標本サイズがまだ小さいため、今後も参加者を継続募集し、質的データの拡充を試みる。一方、結果分析では、上記の国内学会発表で分析した観察者の記録、キー入力記録と学習者の刺激再生法プロトコルに加え、Barkaoui（2016）の枠組みを基に、要約作成時に学習者が行う修正内容の質的分析を進める。これにより、学習者が解答内容を修正する際、「いつ」「どこを」「なぜ」修正するのかに加え、「どのような内容を」「どのように」修正するかを明らかにする。
（３）要約作成指導教材の完成：平成29年度に要約教材原案（要約の定義と、マクロ・ルールに基づく要約作成プロセスの説明、教員による要約作成デモンストレーションから成る）を作成し、早稲田大学教育学部「Academic Reading & Writing」6クラスで試行テストを実施した。この結果を踏まえて教材内容の修正・拡充を行い、今年度秋に同授業で実施する本実験に備える。
|
| Causes of Carryover |
次年度使用額が生じた理由は、主に下の2点である。（１）要約解答に関する学生へのフィードバック作成において、剽窃を避け、英文資料を英語で適切にパラフレーズできているかどうかについて学生の注意を促すため、本文と資料テクストの一致箇所をハイライトし、フィードバックとして提示することは、29年度末の時点では具体的な方法が特定できなかったため、未解決の課題として示した。この点に関するプログラミングの必要性からそれに伴う人件費を予算を組んでいたが、主にその分が使用されず残っている状況であった。Pythonのプログラミングと自然言語処理に基づく分析について専門的知識供与が可能な方の協力の目処が立ったため、次年度使用額は関連のプログラミング費用に充てたい。また、（２）質的研究の参加者数が少ないため、研究補助者がその分析に要する時間が少ないことも理由の一つに挙げられる。質的分析については参加者の増加に伴って継続して予算を使用すると共に、量的分析において、予定よりも多くデータ処理に時間が必要と考えられる部分があるため、予算が余るようであればそちらに使用したい。
上記2点をカバーした後も予算に余裕があるようであれば、データ分析の効率化をはかるため、分析用のPCを一台追加で購入したいと考えている。
|
Research Products
(2 results)
