| 研究課題/領域番号 |
26580113
|
|---|
| 研究機関 | 東海大学 |
|---|
研究代表者 |
藤田 智子 東海大学, 外国語教育センター, 教授 (80329002)
|
|---|
| 研究期間 (年度) |
2014-04-01 – 2017-03-31
|
| キーワード | グループ・オーラル / スピーキングテスト / 発語数 / 音声認識ソフト / 機械採点 |
|---|
| 研究実績の概要 |
プログラム評価におけるスピーキングテストの必要性：
英語教育プログラム評価の中で、グループオーラルテスト（スピーキングテスト）による発信能力を調査する/調査を希望する大学数が多い傾向になってきたこと等も含め研究発表を実施した。
音声認識システムを評価に取り入れる準備：
スピーキング・グループオーラルテストについて、この段階で機械採点する２つの評価基準「発語数」と「話者間の発語数バランス」について、研究協力者である音声認識システムの専門家である仲谷佳恵氏の協力により、その方法を確立すべく準備を始めた。まず、グループオーラルテストでは、１人ずつの音声を選別する必要がある。しかし、現在の機械採点技術では、3人の話者を1人ずつ別々に認識することは可能であるが、一つのファイルにすることが困難であることが分かった。そこで、一人が一つずつのパソコンを持ち、一人ずつの発話を後で一つのファイルに編集することになった。仲谷佳恵氏の勧めで購入した音声認識ソフトウエア、「ドラゴンスピーチ」を3台のパソコンにインストールし、各話者の会話をそれぞれのパソコンに記録した。5分間の会話のあと、パソコンに記録されたそれぞれの話者の会話の「発語数」をカウントする。そして、3人の記録された発語数を比べ「話者間の発語数バランス」とした。この予備実験を3人ずつ2組実施して、実際のデータ収集時にどのような問題が発生するか確認した。実験の最中にドラゴンスピーチがフリーズして、会話を記録しなくなったり、他の話者の会話が影響を与え、実際の発語数より多く記録されたりする問題が発生した。これらの問題点をできる限り最小限にとどめ、今後の本実験の際にスムースにデータが収集できる準備をした。また、東海大学「人を対象とする研究」倫理委員会に「人を対象とする研究計画書」を提出し、計画の承認を得た。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
2014年度、2015年度と今のところ研究は、おおむね順調に進んでいると言える。2015年度は評価基準のうち機械採点の部分を発展させることに時間をかけた。音声認識ソフトを仲谷佳恵氏のすすめで購入し、その使い方に慣れることにも時間をかけた。この音声認識ソフトに関して予定外だったことは多かった。まず、3人のグループメンバーの会話を同時に収拾することをあきらめざるをえなかった。また、あまり正確に音声を認識しないことも予定外であった。
しかし、今回の研究においては被験者の発語数を記録することが、音声認識ソフトの最も重要な役目で、その意味では問題なく使命を果たしたと言えるかもしれない。今後は評価ルーブリックの完成を急ぎ、今学期から実施予定の被験者50人規模の大掛かりな実験に取り掛かりたい。
|
| 今後の研究の推進方策 |
予備テストの結果を分析し、「評価基準」「評価基準の規準設定(レベル設定)」に問題ないか確認し、予備テストを何度か繰り返しながら、評価ルーブリックを完成させる。ここでは主に量的分析を実施して、規準設定の方法として申請者が長年取り組んできた項目応答理論(IRT)に基づいた推定方法を用いる(eg, Fujita, 2005; 2009; 2012; 2013)。対象とする受験者数が36人と少ないのでラッシュモデルを使って受験者の能力値(θ)を推定したり、評価基準ごとの項目困難度bパラメタを推定したりして、適切な規準設定を実施する。
評価方法の決定：この段階で機械採点する２評価基準「発語数」と「話者間の発語数バランス」について、研究協力者である音声認識システムの専門家である仲谷佳恵氏の協力により、その方法を確立していく。グループオーラルテストでは、１人ずつの音声を選別する必要がある。現在の機械採点技術では、3人の話者を1人ずつ別々に認識することは可能である。3人の中から個別認識した受験者について、「発語数」や「話者間の発語数バランス」を検出して、採点者にできるだけ早く通知する方法を確立する。
テスト妥当性の検証
評価ルーブリックが完成し、評価方法が確立できれば、平成28年には実際に必須英語プログラムでグループオーラルテストが実施できる。そして、このテストが、グローバル人材の会話能力を正しく測定できているかどうか検証しなければならない。量的分析としては、テスト結果をラッシュモデルを使用して分析する。さらに、本テストを受験した学生と評価者となった教員にアンケートを実施して、そのうちの数人には面接調査も行うなどして質的分析も実施する。
|
