2021 Fiscal Year Research-status Report
CEFR読解CDSに基づいた問題仕様書の開発と妥当性の検証
| Project/Area Number |
18K00722
|
|---|
| Research Institution | Tokoha University |
|---|
Principal Investigator |
谷 誠司 常葉大学, 外国語学部, 教授 (80514827)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 佳典 静岡大学, 情報学部, 教授 (00308701)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 日本語教育 / CEFR / 読解 / Can-Do Statement / 例文 / 自動分類 / 問題作成 |
|---|
| Outline of Annual Research Achievements |
今年度の研究実績は主に以下2点である。
１）コーパスを作成する際、例文にCEFRの読解力を表すCDS(能力記述文)を付与する労力を軽減すべく、その自動分類の実装に継続的に取り組んでおり、既に「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」（以下、Webアプリケーション）を開発している。分類のための特徴量として文書タイプ、専門性、文長、漢字率を採用している。その中の文書タイプや専門性同定のために現行の版ではfastTextを用いており、これに対し新たにBERTアルゴリズムを適用することで予測精度の向上を試みた。また、WebアプリケーションのシステムにBERTを組み込むことを取り組んだ。
２）Webアプリケーションによって選定された適合度の高い例文が必ずしもテスト問題として適切とは限らない事実が昨年度の研究で示唆され、CDSと例文の一致度や作問可能度について調査を実施した。調査は「必要な情報を探し出す」と「手紙やメールを読む」の下位尺度に該当するA1～B2レベルのCDS（それぞれ5個と6個、計11個）を対象に行った。WebアプリケーションからCDSとの適合度の上位5例文を選択し、a）対応するCDSとどのくらい一致しているか、b）CDSで記述されている「（読解）行動」を問える問題にどのくらいできるか、の2点から5段階評定と評定理由のコメントを韓国での日本語教育経験者4名に依頼した。結果は①「Webアプリケーションによる適合度」と評定者４名による評定点の相関関係は、「必要な情報を探し出す」はやや相関あり、「手紙やメールを読む」は弱い相関あるいはほとんど相関なし、②B2レベルのCDSの例文については評定者による評定点が低い傾向、③「Webアプリケーションによる適合度」が同程度に高い例文であっても、評定者の評価が低かったり評定者間の評定が割れたりすることなどとなった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
1）CEFRの読解CDSに基づいて日本語能力テストを開発したが、一部のCDSが作問化されておらず、予備調査も実施できていない。
2）CDSと例文の一致度や作問可能度の調査についても一部のCDSが未調査である。
|
| Strategy for Future Research Activity |
１）「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」の改善
２）CEFR読解CDSごとの問題仕様書（specification）の開発
問題仕様書には①機械学習で得られた各CDSの特徴量、②例文例、③問題例の掲載を考えている。
|
| Causes of Carryover |
新型コロナウイルスのため、国内外の学会がオンライン開催になり、出張費がかからなくなったことと調査の実施が困難になったため。
|
Research Products
(5 results)
