| 研究課題/領域番号 |
17K18679
|
|---|
| 研究機関 | 関西外国語大学 |
|---|
研究代表者 |
内田 真弓 関西外国語大学, 英語国際学部, 講師 (10712169)
|
|---|
| 研究分担者 |
小谷 克則 関西外国語大学, 英語キャリア学部, 教授 (30440994)
|
|---|
| 研究期間 (年度) |
2017-06-30 – 2020-03-31
|
| キーワード | 留学成果 / 自動評価 / 授業評価 / 成果評価 |
|---|
| 研究実績の概要 |
本研究は、特に留学による学習成果（留学成果）の評価法を整備することを目的としている。具体的には、留学を通じて到達すべき学習成果をより確実かつ効果的に達成するための支援体制の一環として、留学成果に対する自動評価法の要素技術を確立することである。従来の面接法やルーブリック法といった人手による評価法では第三者による評価が必要となるため、その達成度を学生自身が定期的に確認することが困難である。そのため本研究では、留学成果の評価を自動化する仕組みを確立するための基礎研究を行っている。
平成29年度は「留学データベースの構築」を中心に研究活動を行った。平成30年度は、前年度に収拾した留学評価データを定量的・定性的観点から分析した。定性的分析では、留学経験の意見を肯定・否定といった極性に評価者により、段階別評価により分析した。定量的分析では、言語的特徴の解析結果から統計的手法により、意見の極性を分析した。次に、海外からの留学生を対象にデータ収集を行い、データ規模の拡張を図るとともに、国内から海外への留学生に対して、異文化理解力などを中心にコンピテンシー評価用のデータを収集した。そして、留学成果の自動評価法（試験版）の検証を行った。自動評価法は学習によるパターン認識モデルであり、認識性能が優れた学習モデルのサポートベクターマシンが有用であることを確認した。また、学習モデル構築の各素性の有用性を確認し、設問形式および回答法において改善すべき点が明らかになった。上記に加え、本研究の協力者などを対象に聞き取り調査、関連学会において留学成果の評価法と留学支援に関する動向調査および成果報告を行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
「留学成果の評価の自動化に最適な評価法」に関しては、提案評価法を留学後の評価としての運用に加え、留学中の評価、つまり留学支援として運用が企図されている。今年度、留学後の評価は概ね予定通り遂行した。これに対し、後者の留学支援としての運用は、評価法の開発や理論的検証は概ね予定通り遂行できた一方、検証用データ収集に手間取り、検証が未達成であるため「やや遅れている」と判断した。
|
| 今後の研究の推進方策 |
今年度は平成30年度に収集したデータの分析および拡張を行う。また、「留学成果の評価の自動化に最適な評価法」に関しては、実証実験の結果に基づいて自動評価法を改良する。さらに、留学データベースとして収集すべき情報を検証し、必要に応じて新たにデータを収集する。「自動評価法の支援効果」に関しては、改訂版自動評価法を用いて再度、実証実験を行い、改訂版の正確度や支援効果を再分析する。
|
| 次年度使用額が生じた理由 |
当初は留学中の評価を行う予定だったが、データ収集に手間取り、データ分析の際にかかる人件費や謝金が生じず、次年度使用額が生じたため。
今年度は留学中の評価のデータの収集と分析を行うとともに、「留学成果の評価の自動化に最適な評価法」の実証実験の結果に基づいて自動評価法を改良するため、それに資金を投じる予定である。また、今年度に引き続き、国内外での学会参加及び研究報告を行う際に、旅費や英文校正費が発生する予定である。
|
