英語口頭運用能力に関する英語教員の主観的評価を分析するオンラインシステムの開発

2017 年度 実施状況報告書

• 研究課題/領域番号: 26381206
• 研究機関: 島根大学
• 研究代表者: 猫田 英伸 島根大学, 教育学部, 准教授 (80452598)
• 研究期間 (年度): 2014-04-01 – 2019-03-31
• キーワード: スピーキング評価 / オンラインシステムの開発

研究実績の概要

平成29年度のもっとも大きな研究成果は、英語口頭運用能力に関する英語教員の主観的評価をオンラインで分析するシステムの基幹部分を完成させたことである。システムの仕様としては、ユーザである評価者が３名のスピーチサンプル（英語学習者と英語母語話者との面接：１名あたり５分程度）のビデオを視聴し、それぞれに対する評価をオンラインで入力する（いくつかの評価規準に基づいて評価を行う）。そうすると、ユーザの評価は、過去に40名ほどの英語教員がそれらのスピーチサンプルに対してくだした評価ビッグデータ（とは言え、データプールとしてはまだまだ小さいが）と照合され、ユーザには本人の評価の特徴が即時にフィードバックされる、というものになっている。昨年度までのところで、オンラインで入力されるユーザの評価（素点）をビッグデータに加えてクラスタ分析を行い、ユーザが所属すると思われるクラスタの特徴をユーザの特徴としてフィードバックするシステムは完成していた。平成29年度はここに、ユーザの評価をビッグデータに加えて多相ラッシュモデルによって分析することで、「ユーザが評価をくだす」という現象を確率的に捉えなおし（「特定の厳しさの評価者」が、「特定のスピーチサンプル」に対して、「特定の評価項目」に基づいて、「特定の評価」をくだす確率として捉えなおし）、より詳細なユーザ個人の評価の特徴（例：評価者☓項目ごとのバイアス）を描き出す機能をシステムに加えた。これにより、特定の言語特徴の要素を含む項目（例えば、流暢さであればポーズ・言い淀みなどに関する記述を含む項目）に対して一般的な英語教員よりも「厳しく」反応するバイアスがある、などが発見できるようになっている。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

現在、試験的に数名にシステムの使用してもらい、実際のシステム稼働のチェックを行っている。今のところ大きな不具合は見つかっていないため、今年度には中規模の一斉データ収集を行ってフィードバックの精度について検討を行い、改良を加える予定である。

今後の研究の推進方策

本システム開発の最終段階としては、システム内の各種パラメータの変更・調整を可能にする管理ページの開発・設定が不可欠である。多相ラッシュモデル部分で言えば、スピーチサンプルの質θの値（能力値にあたる）、項目困難度（δ）や項目段階困難度（δs）、そしてフィードバックの文言などがこれにあたる。まずは上述の部分を中心に年度中の完成を目指したい。その他にもスピーチサンプルのランダム再生とそれに合わせた多相ラッシュモデルで使用するデータテーブルの読み出しなど今後のシステムの拡張と研究の推進に必要となる機能も可能な限り追加しておきたい。

次年度使用額が生じた理由

平成29年度中にシステム中の管理者側のインターフェース開発には着手したものの、完成にいたらなかったため、結果として次年度に所要額を繰り越すことになった。今後、予定どおりの支出が見込まれる。