2020 Fiscal Year Annual Research Report
Computerized Adaptive Business Japanese Test
| Project/Area Number |
19H01275
|
|---|
| Research Institution | University of East Asia |
|---|
Principal Investigator |
赤木 彌生 東亜大学, 人間科学部, 客員研究員 (30346580)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中園 博美 島根大学, 学術研究院教育研究推進学系, 准教授 (40314611)
伊東 祐郎 国際教養大学, 専門職大学院グローバル・コミュニケーション実践研究科, 教授 (50242227)
本田 明子 立命館アジア太平洋大学, 言語教育センター, 教授 (80331130)
家根橋 伸子 東亜大学, 人間科学部, 教授 (80609652)
麻生 迪子 四天王寺大学, 人文社会学部, 講師 (90625188)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | ビジネス日本語テスト / 適応型テスト / インターネット受験 / 問題項目分析 / 能力推定 / 自動判定 / 自動成績表示 / 就職支援 |
|---|
| Outline of Annual Research Achievements |
本研究課題は，先行研究（科研費基盤研究（B），課題番号15H03217，研究課題名「コンピュータ適応型ビジネス日本語テストの開発と妥当性の検証」），通称「BJ-CATビジネス日本語テスト（Business Japanese Computerized Adaptive Test），（http://www.bj-cat.org/），以下BJ-CAT」で研究開発を行ったパイロット版の改良を行い，実用化し一般公開することを目的に研究を続けている。BJ-CATは，留学生や外国人人材のビジネス日本語能力を測定するテストである。次の研究課題に取り組み，より信頼性の高いテスト開発を目指している。（1）能力レベルに適合した困難度レベルの問題 が自動的に出題されるアダプティブ（適応型）テストであるが，より適合した問題を項目プールに追加補充すると同時に，能力推定の検証も行い，テストの信頼性を向上させる。 (2) システム改変（HTML5化），インターフェースの改良を行い，継続的運用を実現する。（3）テストの妥当性の検証を行なう。（4）追加問題を作成し，問題項目プール（問題項目のデータベース）を拡充し，頑健なテストとする。（5）BJ-CATスコアとCEFRヨーロッパ言語共通参照枠の対応付けを行ない，BJ-CATスコアの位置づけを行う。
2019年度，適応型システムの書き換え作業を完了し，本格的に運用できる体制を構築した。研究分担者らの所属機関において運用実験を行ない，適応型テストの最適化を図るための調整を行った。2020年度から， BJ-CATの一般公開を開始した。まずは，ビジネス日本語クラス，キャリアクラス，就職支援などにおいて受験をしてもらい，この受験で得られた成績分布のデータ解析を行い，テストの妥当性の検証を行った。しかし，コロナ禍のため事前テストを実施することができず，問題項目プールへの追加補充およびテンプレートの検証は実施できなかった。次年度に繰り越して実施することとした。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2020年度の研究計画は，コロナ禍による留学生受け入れ制限があり，事前テストがほとんど実施できなかった。このため，十分なデータが得られず，計画は大幅に遅れている。事前テストで得られた回答データから問題項目分析を行い，困難度と項目識別力パラメタを算出する予定であったが実施できなかった。また，Can-do自己評価リストとCEFRの対応付けも手掛ける予定であったが，これも困難度，項目識別力パラメタを用いるため，実施することができなかった。適応型テストには，テスト理論に基づいた問題項目分析を行った問題項目を搭載するため，事前テストの遅れによって，研究遂行が難しくなった。代わりに，2021年度に実施予定であった妥当性の検証；成績分布について外部基準（J-CAT日本語テスト）との相関係数による検証や問題項目の作題・編集および事前テスト作成などコロナ禍においても実施できる計画に修正し臨機応変に研究を行った。
2020年度に引き続き，適応型テストの最適化を図るため，研究代表者，研究分担者，研究協力者らの機関において，運用実験を行なった。
本研究の中心となるメンバーは研究代表者，研究分担者，研究協力者合わせて７名であり，研究遂行のために５つの班（統括班，システム班，問題項目作題編集班，事前テスト班，項目分析班）を組織し，各班で連携を図りつつ研究を遂行している。
|
| Strategy for Future Research Activity |
2021度は，引き続き，一般公開を行い，国内外の協力機関において，適応型システム改変後の運用実験，インターネット環境チェック，受験データの解析を行い，成績分布の妥当性の検証を行う。また，問題項目の作題・編集，事前テスト，問題項目分析なども継続して行う。外部テストとの相関関係の分析を行い，妥当性の検証を行う。さらに，Can-do自己評価リストとCEFRの対応付けの作業も手掛ける計画である。
本研究課題は，テスト開発という研究の性質上，問題項目作成，事前テスト実施および項目分析を経なければ論文化できないため，テスト開発の遅延により，研究発表が遅れている。このため，論文投稿等が今後の課題となっているが， 2021年度は，論文化を進め，広く発表をしていく計画である。
また，テスト開発は，開発が完了して終わりではなく，その後，実際に使用してもらうことも重要である。そのためには，本テストの認知度を高める必要がある。今後も日本だけではなく，世界の主要地域での学会に参加し，認知度を高められるような活動を行っていくことによって，留学生および外国人人材の雇用を希望する日本企業への就職支援に貢献できると考える。
|
Research Products
(2 results)
