2020 Fiscal Year Annual Research Report
Development and Analysis of Evaluation Dataset for Learner Corpus Studies
| Project/Area Number |
20H01282
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
石川 慎一郎 神戸大学, 大学教育推進機構, 教授 (90320994)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 学習者コーパス / 作文 / 発話 / 評価 / アジア圏 / 自動採点 / 自動評価 |
|---|
| Outline of Annual Research Achievements |
日本人生徒の英語発信力（書く・話す）が想定を大きく下回っていることが示され（教育政策研究所，2019），指導現場では英語発信力強化に向けた取組が強化されている。しかし，学習者が参考にすべき「良い作文・発話」のモデルや，ELF（非母語話者間交渉手段としての英語）環境下において目指すべき目標水準の指針は存在せず，現場の取り組みも方向性を欠いたものになっている。この一因は，学習者コーパス研究が進む中で学習者の作文や発話の収集は広くなされたものの，それらに対する人手による評価データがほとんど集められていないことにある。そこで，本研究課題では，筆者が構築してきた「アジア圏国際英語学習者コーパスICNALE」に含まれる1万件の作文・発話サンプルに対して，非母語話者を含む世界の英語話者で組織された国際評価パネルによる体系的評価を行わせ，①世界最大級の「学習者作文・発話評価データセット（ICNALE Rating Module）」を構築・公開するとともに，その分析を通して，②指導現場で共有できるアジア圏英語学習者のための「良い作文・発話」の具体的事例の抽出と，③ELF環境下での国際的通用性（global intelligibility）を担保する具体的言語要件の科学的解明を行うことを目指す。2020年度においては，３年間で収集目標とする評価者数100人に対して62人の評価サンプルを収集することができた。性別分布は女性（37），男性（25），母語分布はフィリピノ語（29），日本語（7），英語・タイ語（6），中国語（5），インドネシア語・マレー語・ラオ語・モン語（ミャオ語）（2），ウイグル語（1)，職業分布は英語教育関係（25），ビジネス関係（14），大学院生（13），研究者（6），言語テスティング専門家（4）となっている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の目的は，①学習者作文・発話に対する国際評価データ（ICNALE Rating Module）の収集・公開・分析，②ELF話者判断に基づくGWSの事例抽出，③GWSの言語特性抽出（低評価サンプルと有意差を示す特性のうち,汎L1的特性を抽出），④言語指標によるGWS推定モデル開発（語彙頻度等の説明変数から目的変数としての評価値を推定する回帰モデルと高低評価サンプルを区別する判別モデルを作成），⑤現場で活用できるGWS目標設定（学習段階別に予測される各指標値の量的位置付けを示し，教師による評価，学習者による自己診断を補助する資料としてフィードバックする）の5点である。2020年度においては，目標（評価者100名による評価データの収集）に対して62名のデータを収集することができた。また，本科研に関連して，著書4（単著１，共編著1，章執筆2），論文5（査読あり1，招待2，査読なし2），総説等3，招待講演6，研究発表4，合計22点のアウトプットがあった。
|
| Strategy for Future Research Activity |
評価者については，多様な背景を持つ評価者から評価のデータを得るべく，延べで100名以上の評価者を集めることをプロジェクトの最終目標としている。従前の評価研究では，英語を母語とし，英語教授ないしは英語力評価を職業とする者を評価者にするのが一般的であったが，現代における英語使用の実態を考えれば，そうした枠決めは必ずしも適切なものとはいえないであろう。母語について言えば，現在では，英語を主として非母語話者同士のコミュニケーション手段と位置付けるEnglish as a Lingua Franca（ELF）の枠組みが普及しており（Seidlhofer，2017），母語話者だけでなく，英語を日常的なレベルで使用している非母語話者も評価者に加えるのが自然である。また，職業について言えば，ELFの発話データを大規模に収集したVienna-Oxford International Corpus of English （VOICE）version 2.0を例にすると，話者の54.5％がビジネス関係者であり，教育関係者（英語の専門家に限らない）は25.5％に過ぎない。この点をふまえれば，職業についても多様性を確保することが自然だろう。アジア圏に特化するというICNALEの基本理念をふまえ，英語母語話者と，アジア圏で職業レベルで日常的に英語を使用している英語非母語話者を評価者とすることを定め，後者については，英語教員・各分野の研究者（大学院生を含む），ビジネス関係者の3層で評価者を集めることとしている。すでに62人から評価データを収集しているが，2021年度については，データ収集の対象国をさらに広げて収集を継続するとともに，収集済みのデータの分析に着手する予定である。
|
