2018 Fiscal Year Research-status Report
CEFR読解CDSに基づいた問題仕様書の開発と妥当性の検証
| Project/Area Number |
18K00722
|
|---|
| Research Institution | Tokoha University |
|---|
Principal Investigator |
谷 誠司 常葉大学, 外国語学部, 教授 (80514827)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 佳典 静岡大学, 情報学部, 教授 (00308701)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | CEFR / 読解 / Can-Do Stametments / 例文 / 自動分類 |
|---|
| Outline of Annual Research Achievements |
2018年度の研究成果としては次の2点があげられる。
1) Council of Europeは2018年に"CEFR Companion Volume with New Descriptors"を発表して、最初歩レベルであるPre-A1(レベル)を追加することで言語能力レベルを7段階とするなどの改定を行った。読解においてはPre-A1レベルの学習者はまだ文章生成能力を獲得しておらず，語彙構造を持たずクラスで学んだ単純な単語を知っている程度の初心者を想定し，7つのCDSを提供している。これに対し、Pre-A1用の例文149を準備し,今までの「専門性」、「文長」、「文書タイプ」に加え、例文内の「漢字出現比率」を加えて4パラメータとした上で、機械学習により自動分類を行うプログラムを実装し、実験を行って精度を検証した。検証の結果、全体の精度は69.66%であったが、これはマルチラベル数の多寡にも大きく依存していることが考えられる。
2) （DIALANGの）CEFR読解CDSの中から A1～B2レベルにあり、「必要な情報を探し出す」と「手紙やメールを読む」の下位尺度に該当するCDS（それぞれ5個と6個、計11個） に限定して、「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」（http://mya-lab1.cs.inf.shizuoka.ac.jp/~hirakawa/index-cefr2.php）から抽出したCDSとの適合度の高い例文を使って、日本語読解テストを開発し、予備調査を実施した。出題した項目を分析したところ、全体としてはCEFRのレベルに対応していたが、項目安易値がCEFRのレベルに対応していない項目や項目弁別力指数が低い項目があった。また、作問者からCDSと例文のレベルの不一致、CDSで記述された読み方と例文の不一致等の指摘もあった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
Pre-A1(レベル)の機械学習による日本語例文の自動分類プログラムの再開発、日本語読解テストの開発と予備調査の実施、ができ、おおむね順調に進展していると考えられる。
|
| Strategy for Future Research Activity |
1）再開発したPre-A1(レベル)の機械学習による自動分類プログラムをさらに改良する。
2）「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」から抽出したCDSとの適合度の高い例文が必ずしも作問がしやすく、CDSの読解行動を反映できる例文ではなかったので、「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」から抽出したCDSとの適合度の高い例文とCDSの読解行動を反映できる例文に関する調査を行う。
3）前年度の予備調査の結果を踏まえ、作問した問題の修正・改善、あるいは新たな問題作成をし、Weir(2005)の「社会的・認知的枠組み」(Socio-cognitive framework)による分析を行う。
|
| Causes of Carryover |
例文収集が予定より順調に進まず、また日本語読解テストを開発しての予備調査が小規模な形で実施されたため、謝金の支払いが少なく、次年度使用額が生じた。使用計画としては、例文収集の継続的依頼と予備調査を計画通りに実行することで謝金支払の増加を考えている。
|
Research Products
(6 results)
