2020 Fiscal Year Research-status Report
CEFR読解CDSに基づいた問題仕様書の開発と妥当性の検証
| Project/Area Number |
18K00722
|
|---|
| Research Institution | Tokoha University |
|---|
Principal Investigator |
谷 誠司 常葉大学, 外国語学部, 教授 (80514827)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 佳典 静岡大学, 情報学部, 教授 (00308701)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | CEFR / 読解 / Can-Do Statement / 例文 / 自動分類 |
|---|
| Outline of Annual Research Achievements |
今年度の研究実績は次の3点である。
1）昨年度，Pre-A1レベルに対応すると思われる例文を収集したが，Pre-A1レベルは従前のレベル群（A1～B2）との難易度に差が大きいため，従前のレベル群とPre-A1レベルを2値分類した後にそれぞれをCDS分類する2段階の分類手法を試みた。その結果，正のF値は先行研究の結果よりも向上し，良好な結果が得られ，RF （＝Random Forest, ランダムフォレスト法）の特徴量重要度によって機能している特徴量が明確になった。また，従前のレベル群のみに対応していた「日本語CEFR読解指標（CDS）推定支援Webアプリケーション」をPre-A1レベルに対応できるようにした。
2）CEFRの読解CDSに基づいて開発した日本語能力テストを使って，日本人大学生21名を対象に予備調査を実施し、その結果を主に項目分析と受験直後に受験者に解答行動について尋ねたアンケートから分析をした。分析結果から日本人大学生であっても想定よりも項目安易値が低い項目があり，設問の仕方や選択肢に改善すべき点があることが明らかになった。また，解答行動については，同じ調査を行った韓国人日本語学習者（得点上位群）と比較したが，一部の解答行動が日本人大学生と近いことが明らかになった。
3）1）で開発したWebアプリケーションが出力する適合度の高い例文に関してCDSと例文の一致度や作問可能度について調査を実施した。具体的には調査協力者5名にCDSとの適合度が高い上位5例文を見せ，a）例文と対応するCDSレベルの一致度，b）CDSで記述されている「（読解）行動」を問える問題の作問可能度，の2点から5段階評定と評定理由のコメントを依頼した。a）とb）の評定者間信頼性係数（クロンバックα）は，a）は0.23～0.76，b）は0.09～0.76となり，CDS間の差が大きいことが明らかになった。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
1）CEFRの読解CDSに基づいて日本語能力テストを開発したが，一部のCDSが作問化されておらず，予備調査も実施できていない。
2）CDSと例文の一致度や作問可能度の調査についても一部のCDSが未調査である。
|
| Strategy for Future Research Activity |
最終的にはCEFR読解CDSごとの問題仕様書（specification）の開発を目指しており，次の内容を掲載できるようにしたいと考えている。
1）機械学習で得られた各CDSの特徴量
2）例文例
3）問題例
|
| Causes of Carryover |
新型コロナウイルスのため，国内外の学会がオンライン開催になり，出張費がかからなくなったことと調査の実施が困難になったため。
|
