Development of a Semi-Automatic Scoring System using AI

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K00797
• Research Institution: Yamagata University
• Principal Investigator: 金子 淳 山形大学, 地域教育文化学部, 准教授 (10331969)
• Co-Investigator(Kenkyū-buntansha): 山口 常夫 東北文教大学, 人間科学部, 教授 (80146745) ; 大槻 恭士 山形大学, 大学院理工学研究科, 准教授 (00250952) ; ミラー ジェリー 山形大学, 地域教育文化学部, 准教授 (90455882) ; 坂口 隆之 山形大学, 地域教育文化学部, 准教授 (10436496) ; 畠山 研 八戸工業大学, 基礎教育研究センター, 講師 (10804891)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: AI / 人工知能 / パフォーマンステスト / データサイエンス / 英語 / スピーキング / 評価

Outline of Annual Research Achievements

「AIを援用したパフォーマンステスト半自動採点システムの開発」において、令和2年度は初年度に当たる。初年度の研究計画は、パフォーマンステストを採点するためのシステム構築を行うことであり、実際にその構築を行なった。具体的には以下のようになる。
まず、システム構築に必要なコンピュータ等、環境を整備し、Pythonが使える環境を構築した。Anacondaのプラットフォームを使用した。システムの概要からすれば、まず、被試験者が英語音声を発声し、その音声をAIを用いて音声認識して、テキスト化するプロセスが必要になる。ただし、音声認識の際、ネイティブが話す英語の認識率と非ネイティブ（日本人）が話す英語では認識率に大きな差があり、その問題をクリアする必要がある。
ここでは、環境構築の利便性を考慮し、クラウド型のAIサービスを利用することにした。具体的には、Microsoft AzureのCognitive Serviceを用いた。コンソール・アプリケーションを作成し、英語音声のテキスト化を行なったところ、かなりの精度でテキスト化が可能になった。
次に、テキスト化された英文を、Pythonを用いて、採点するためのシステム構築を行なった。吐き出された英文テキストを数値化（ベクトル化）し、実験・検証を行なった。比較的良好な結果が得られた。ただし、まだ、精度に若干の課題があるため、パラメータなどの調整や、新たなアルゴリズムからのアプローチなど、さらに精度を上げていくことが今後の課題である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

令和2年度は初年度になるが、初年度の研究計画である、パフォーマンステストを採点するためのシステム構築を予定通り実施、遂行できた。

Strategy for Future Research Activity

昨年度、開発したパフォーマンステスト半自動採点システムの精度を上げ、学校教育現場にて、実証実験を行なう予定である。しかし、たいへん残念なことであるが、令和2年度に引き続き、令和3年度も新型コロナウイルスの感染が拡大する恐れがある。状況によっては、計画を変更しなければならない状況が生じるかもしれない。すなわち、本研究においては、システムの構築後、学校教育現場にて、実験・検証を行うこととしているが、新型コロナウイルスの状況によっては、その検証が実施できない恐れがあるからである。その場合は、小学校・中学校・高等学校などの学校教育現場ではなく、対象を大学生にして、実験・検証を行うことも考えている。

Causes of Carryover

新型コロナウイルスの感染拡大により、共同研究者との打ち合わせや、教育行政機関、学校教育現場との連絡を、令和2年度には十分に実施できなかった。それゆえ、それらの活動を令和3年度に実施することとした。

Research Products

• [Journal Article] AI Analysis of Junior and High School Teachers' Awareness toward Performance Test, using the latest Natural Language Processing Technology with Python. (2021)
  • Author(s): Kaneko, J., Otsuki, T., Sakaguchi, T., Miller, J., Yamaguchi, T., Kobayashi. E.
  • Journal Title: TELES Journal Volume: 41. Pages: 129-144
  • Peer Reviewed