2013 Fiscal Year Annual Research Report
英語学習者の総合的な発話能力を自動評価するシステムの構築とその評価
| Project/Area Number |
23520721
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
近藤 悠介 早稲田大学, オープン教育センター, 助教 (80409739)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中野 美知子 早稲田大学, 教育・総合科学学術院, 教授 (70148229)
吉田 諭史 早稲田大学, 教育・総合科学学術院, 助手(Research Assistant) (00608838)
|
|---|
| Keywords | 国際情報交流（台湾） / 自動採点システム / 英語学習 / 言語テスト |
|---|
| Research Abstract |
本研究では、ある程度の自由度がある発話が得られるタスクを自動的に採点し、発話能力の評価を送出するシステムを構築し、その評価を行った。英語学習者の発話を多面的に捉えるために、本研究では語用論の分野で用いられる談話完成タスクを用いて英語学習者の発話能力を評価・測定するテストの開発を試みた。ヨーロッパ言語参照枠のA2レベルのタスクを132問作成した。この問題を用いて英語学習者の発話データを収集するためのウェブサイトを作成し、日本人英語学習者約150人、台湾人英語学習者約30人から約35000発話のデータを収集した。このウェブサイトを利用して収集した発話データの質は評価、分析に使用できるものであることが確認された。
発話自動採点システムの開発過程で最も人的コストを必要とする評定者による評価にかかるコストを減少させるために、EMアルゴリズムを用いて、評価値が付与された少ないサンプルから評価値が付与されていない発話データの評価値を推定した。テスト・データにおいてある程度の正確度をもって予測できることができたが、自動採点システムを運用する上で使用できる段階の精度は得られなかった。
本研究で収集した発話データの単語認識率は、それぞれのタスクにおける発話の自由度によってことなり、その精度には大きな差があり、これは、人間が聞いても聞き取りが困難なものもあるため、評定者が発話データに聞き取り可能/不可能のラベルを付与し、この2つのカテゴリを発話の基礎的な特徴量からサポートベクターマシーンを用いて予測した。84%の精度でこの2つのカテゴリを予測できた。このフィルタを通過した発話の中から単語認識率の高いタスクにおいて、自動採点を試みた。単語認識率が高いタスクでは、発話の自由度かなりの程度制限されているため、これらのタスクを用いた発話自動採点の精度は、実際に運用できる段階であると判断できるレベルであった。
|
