2016 Fiscal Year Annual Research Report
Predicting the oral proficiency levels with machine learning techniques
| Project/Area Number |
26770205
|
|---|
| Research Institution | Toyo University |
|---|
Principal Investigator |
小林 雄一郎 東洋大学, 社会学部, 助教 (00725666)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 自動採点 / コーパス |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、機械学習と自然言語処理の技術を用いて、英語学習者の話し言葉を自動評価することである。研究実施期間の主な成果としては、多様な語彙・文法・構文・談話の頻度情報を説明変数とするランダムフォレスト法を用いて、9段階の英語習熟度を自動判定し、60%以上の正解率を得たことである。ベースラインの精度（チャンスレベル）は37%であり、本研究の提案手法により、23ポイントの精度向上が実現された。また、単に英語習熟度を自動判定しただけでなく、判定に寄与する言語項目と、各項目の重要度に関する推定も行った。その結果、総語数、異語数、一般名詞、過去形の動詞、強調表現、不定詞、可能性を表す助動詞、否定表現、因果関係を表す従属接続詞、縮約表現などが特に判定に寄与することが分かった。そして、一部のデータセットを使って、決定木分析を実行することで、手作業で付与された語彙や文法の誤りの情報を分析した。その結果、冠詞、動詞の語彙選択、前置詞の語彙選択、名詞の数、動詞の時制に関する誤りの頻度が英語習熟度と密接な関係にあることが明らかにされた。以上の成果を含む研究業績は、主に国際会議での研究発表、英語論文での発表という形式で報告し、関連分野で活動する海外の研究者に対する情報発信を行った（研究発表資料および研究論文は、著作権が許す範囲内において、インターネット上で公開し、より多くの人がアクセスできるようにした）。
|
Research Products
(8 results)
