英語口頭運用能力に関する英語教員の主観的評価を分析するオンラインシステムの開発

2016 Fiscal Year Research-status Report

• Project/Area Number: 26381206
• Research Institution: Shimane University
• Principal Investigator: 猫田 英伸 島根大学, 教育学部, 准教授 (80452598)
• Project Period (FY): 2014-04-01 – 2019-03-31
• Keywords: 主観的評価の分析 / オンラインシステム

Outline of Annual Research Achievements

平成28年度の研究成果としては、英語口頭運用能力に関する英語教員の主観的評価を分析するオンラインシステムの基礎部分を完成させたことが挙げられる。平成27年度に仕様の詳細を検討した際に、評価者（ユーザ）がスピーチサンプルを参照しながら評価規準・評価基準に基づいて下した評価を２つの側面から分析することとした。一つは素点を用いたクラスタ分析（大まかな評価者のタイプの分類）であり、もう一つは項目応答理論を用いた分析（評価者の下す評価の内的一貫性等の詳細な検討）である。このうち、前者については小規模ながらも実際に運用可能なシステムを完成させることができた。現在のところ、評価者が評価規準（語彙の幅、流暢さ、正確さ、発音の質）を選択し、ランダムな順序で提示されるスピーチサンプル（3個）に対して、各評価規準について提示される3個の評価基準に基づいて評価を行うと、その評価は40～50名ほどの英語教員の評価データプールに投入されてクラスタ分析によって自動で分析されるようになっている。当該評価者はもっとも近似する評価パターンを示すクラスタに紐付けられ、そのクラスタの評価傾向を端的に説明するフィードバック画面が評価者のパソコン画面上に表示される仕組みとなっている。
本研究課題を遂行するにあたっては、システムの基礎部分が完成したことは次のステップに進む足がかりとしてとても大きな意義を持っている。それはこのシステムの基礎部分を用いることにより、より大規模なデータ収集が可能になるためである。項目応答理論（多相ラッシュモデル）を用いて正しい分析結果を得るためには分析に用いるデータプールの大きさが重要になってくる。このたび開発したシステムを運用することで拡張的に評価データを収集することにより、クラスタ分析部分の分析精度を高めるとともに、項目応答理論を用いて分析を行う部分の開発を進めることが可能となった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

当初の想定よりもシステム開発に手間と費用がかかっており（主にセキュリティ等の関係のため）、管理者システムからのデータの取り出しやスピーチサンプルの差し替えなどを行うためのインターフェイスの開発には至らなかった。

Strategy for Future Research Activity

早々に上述の管理者システム部分の開発を進め、クラスタ分析を用いた基礎部分をオンラインで運用し、項目応答理論を用いた分析システム開発に進むためのデータ収集に入りたい。

Causes of Carryover

研究計画に沿った支出を行ったが、結果として若干の額が未使用額として残ることとなった。

Expenditure Plan for Carryover Budget

引き続きシステムの開発を進めるための費用に加えて使用する予定である。