2015 Fiscal Year Annual Research Report
コンピュータ自動採点日本語スピーキングテストの実用化と妥当性の検証
| Project/Area Number |
26244026
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
今井 新悟 筑波大学, 人文社会系, 教授 (50346582)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
西村 竜一 和歌山大学, システム工学部, 助教 (00379611)
山田 武志 筑波大学, システム情報系, 准教授 (20312829)
赤木 彌生 山口大学, 大学教育機構留学生センター, 准教授 (30346580)
中園 博美 島根大学, 外国語教育センター, 准教授 (40314611)
伊東 祐郎 東京外国語大学, 大学院国際日本語研究院, 教授 (50242227)
菊地 賢一 東邦大学, 理学部, 教授 (50270426)
中村 洋一 清泉女学院短期大学, 国際コミュニケーション科, 教授 (70326809)
本田 明子 立命館アジア太平洋大学, 言語教育センター, 准教授 (80331130)
篠崎 隆宏 東京工業大学, 大学院総合理工学研究科, 准教授 (80447903)
家根橋 伸子 東亜大学, 人間科学部, 教授 (80609652)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 日本語テスト / スピーキングテスト / 項目応答理論 / CAT / 教育工学 |
|---|
| Outline of Annual Research Achievements |
Speaking Japanese Computerized Test(SJ-CAT)のシステムを継続して改良した。機械採点のパラメータおよび採点アルゴリズムは検討の結果、過去に安定して採点ができていたものを採用することにした。これは必ずしもこれまでに得られた最高の精度のものではないが、実用性・安定性の点から判断することとなった。能力推定には１パラメータモデルを採用し、これにより、識別力の高い特定の問題項目ばかりが出題されるという偏りが解消されることを確認した。
限定的にではあるが、公開し、受験者を募って、受験者の解答データを収集した。また、ダミーとして、母語話者が真面目に解答した場合と、日本語初級者を装って解答した場合についてもデータを収集した。回収されたデータと採点の結果のデータを突き合わせて分析を行い、採点の妥当性について検討した。その結果を踏まえて、テストシステム全体の評価を行った。この結果、コンピュータによる自動採点の特徴として、各問題で0点から4点満点の評価において、3.5点以上の採点結果を得ることが困難であったこと、それによって、最終的な能力判定において能力が実力よりも低めに点数が出てしまうことが判明した。この結果を踏まえて、能力推定の方法に変更を加えることによっておおむね妥当な点数（0～100点満点）で結果を示すことができるようになった。
受験者からのインターフェースに関するフィードバックを受けて、画面の一部修正を行った。
テストとしての妥当性の検証の一環として、同一受験者にSJ-CATと文字語彙、文法、聴解、読解の４セクションからなるJ-CATを受験してもらい、両者の相関について検証した。その結果、両者の相関は0.45で中程度の相関があり、特にSJ-CSTと聴解には0.6の相関があることから、「聞く」と「話す」に関連性があるという結果を得た。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
システムの改修については通年で取り組んだ。
一般に利用できる状態（一般公開）になっている。未だ改良の余地があり、まだ積極的に公開についての宣伝は行っていないが、リクエストがあれば誰でも利用できるようになっている。
妥当性の検証について、当初予定を変更して縮小しているが、これについては申請時に予定通り進まなかった場合に「併存妥当性の検証に遅延が生じた場合は目標人数を削減し、代替として分担者によるインタビューテストを実施する。」としてある。今年度はJ-CATを実施して、代替措置とすることとした。インタビューテストから更にJ-CATに方法も変更したが、併存妥当性の検証自体は限定的ではあるが、実施できた。
|
| Strategy for Future Research Activity |
研究の最終年度になるため、受験者を増やして、テストシステムの全体について検証を継続する。併存妥当性の検証については、当初予定通り、Japanese Standard Speaking Test（JSST,アルク）と本課題で構築するテストを受験した結果の相関を調べ、本テストの併存妥当性をデータを収集して検証する予定である。ただし、実施の人数については、当初の予定よりも減らして実施する可能性がある。当初は初級レベルからの受験についても予定していた。しかし、現状のSJ-CATの採点結果を見ると、初級レベルの判定が不安定であるため、初級レベルを対象とするのは妥当ではないと考えられる。この点については、さらに検証を進めながら、対象者について検討を続けていく。JSSTの実施（特に海外からの受験）が難しい場合には、その代替措置についても検討していく。
|
Research Products
(6 results)
