| 研究課題/領域番号 |
17K18679
|
|---|
| 研究機関 | 関西外国語大学 |
|---|
研究代表者 |
内田 真弓 関西外国語大学, 英語国際学部, 講師 (10712169)
|
|---|
| 研究分担者 |
小谷 克則 関西外国語大学, 英語キャリア学部, 教授 (30440994)
|
|---|
| 研究期間 (年度) |
2017-06-30 – 2020-03-31
|
| キーワード | 留学成果 / 自動評価 / 授業評価 / 成果評価 |
|---|
| 研究実績の概要 |
本研究の目的は、留学を通じて到達すべき学習成果（留学成果）をより確実かつ効果的に達成するための支援体制の一環として、留学成果に対する自動評価法の要素技術を確立することである。面接法やルーブリック法といった既存の人手による評価法では、第三者による評価を要するため、その達成度を学生自身が定期的に確認することが困難である。そのため本研究では、留学成果の評価を自動化する仕組みを確立するための基礎研究を行っている。特に、下記の3点の研究活動に取り組むことを目的としている。
（１）留学データベースの構築
（２）留学成果の自動評価法の開発
（３）自動評価法の検証
平成29年度は（１）を中心に研究活動を行った。まず、既存の留学成果の評価法について、教育工学や自然言語処理関連領域において動向調査を行った。その結果、既存の授業評価法（Course Evaluation）におけるデータ収集法とその分析が留学成果の評価法の自動化において有用であることが判明した。次に、動向調査の結果に基づき、海外大学から国内大学への留学生600人を対象に留学プログラムの評価データを収集した。このデータを基に留学プログラムに対する意見を「肯定」「中立」「否定」という3種類の評価へ自動分類する技術を開発した。その際、既存の自然言語処理技術（例えば、感情分析器）を用いて収集したデータに注釈データを追記した。そして、留学プログラム評価データベース、意見自動分類技術法に関して、それぞれ成果報告を関連学会にて行った。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
本研究の基盤データとなる留学生からのデータ収集を実施、評価法の開発を終えた。評価法の開発時に意見の参照データの付与を一名の評価者で行った。当初は複数人により評価を行い、評価者間において結果を比較し、評価の信頼性を検証する予定であった。しかし、予想以上に固有表現があり、情報管理の観点から複数人による評価困難であることが判明した。そこで、同一評価者による複数回の評価による検証法の検討を行ったため、若干の遅れが発生した。但し、データ収集といった主たる作業において遅れが発生していないため、本質的な計画の遅れにはつながらなかった。
|
| 今後の研究の推進方策 |
平成29年度に収集したデータの分析、および拡張を行う。
まず、データ分析では意見の極性をさらに詳細に分析を行う。次に、今年度も海外からの留学生を対象にデータ収集を行い、データ規模の拡張を図る。そして、国内から海外への留学生に対して留学前後において異文化理解力などを中心にコンピテンシー評価用のデータ収集を開始する。
|
| 次年度使用額が生じた理由 |
研究期間を１年と見込んでいたが、実際の開始が9月からとなったため、出張が予定よりも少なくなったこと、また、当初は複数人により評価を行い、評価の信頼性を検証する予定だったが、情報管理の観点から複数人による評価が困難であることが判明したため、人件費や謝金が生じず、次年度使用額が生じた。
今年度は、構築した留学データベースの拡張と留学成果の試験版自動評価法の開発に資金を投じる予定である。また、今年度に引き続き、留学成果の評価法と留学成果達成への支援に関する動向調査、国内外での学会参加及び研究報告を行う際に、旅費や英文校正費が発生する予定である。
|
