2013 Fiscal Year Annual Research Report
パターン認識と自然言語処理の技術を用いた習熟度判定
| Project/Area Number |
12J02669
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
小林 雄一郎 立命館大学, 衣笠総合研究機構, 特別研究員(PD)
|
|---|
| Keywords | 学習者コーパス / パターン認識 / 自然言語処理 |
|---|
| Research Abstract |
英語教育の分野では、数多くの英語力テストが存在し、中学校や高校のカリキュラムに組み込まれている場合もある。これらのテストの多くは、熟練した教師や採点者が学習者の作文や発話を評価するという形式を取っている。しかし、いかに熟練した採点者たちが厳密な基準に基づいて評価を下したとしても、複数の採点者間の評価が一致しないこともある。そのような状況において、客観的な評価基準と統計モデルを用いて習熟度を推定する技術を開発することは、言語教育分野にとって非常に有意義なことである。
本研究では、英語学習者の習熟度を自動推定すると同時に、その推定に寄与する言語項目を特定することを目的としている。具体的には、異なる習熟度グループに属する日本人英語学習者の言語パフォーマンスを対象に、多種多様な言語項目(語彙, 品詞, 統語, 談話など)を変数とし、習熟度の推定と言語項目の特定を行う。
平成25年度は、前年度の基礎的な調査から得られた知見に基づき、日本人英語学習者約1200人の習熟度推定実験を行った。このような実験を行う場合、どのような言語項目を変数として用いるかが問題になるが、本研究では、コーパス言語学およびテクスト変種の研究で高い評価を得ているDouglas Biberの言語項目のリストを援用した。また、判定のためのデータ解析手法には、Leo Breimanが提案した決定木のアンサンブル学習であるランダムフォレストを用いた。
その結果、判定の精度は61.28%で, 専門的な訓練を受けた人間の評価官による評価との相関係数は0.867であった。また, 推定に寄与した言語項目は, 総語数と異語数に加えて, 前置詞句, 1人称代名詞, 副詞, 否定, 短縮形, 不定詞, 時制などの頻度であった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の目標であった大規模データの習熟度実験に着手し、一定の判定精度が得られたこと。また、次年度に向けた課題が明確化されたこと。
|
| Strategy for Future Research Activity |
今後の展開としては、習熟度判定に用いる言語項目の再検討が挙げられる。Biberの言語項目は、母語話者の英語を分析することを目的に策定されたものであり、非母語話者の英語を分析するためのものではない。そのため、日本人英語学習者にとって習得が困難であると考えられている冠詞などが含まれていない。次年度は、本年度の分析結果、そして、その他の学習者コーパス研究の知見を踏まえて、言語項目リストのさらなる精錬に取り組む。
|
