Development of automated scoring system for L2 speech and examination of its practicality

• Project/Area Number: 26370746
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Foreign language education
• Research Institution: Waseda University
• Principal Investigator: Yusuke Kondo 早稲田大学, グローバルエデュケーションセンター, 准教授 (80409739)
• Co-Investigator(Kenkyū-buntansha): 中野 美知子 早稲田大学, 教育・総合科学学術院, 名誉教授 (70148229) ; 吉田 諭史 早稲田大学, グローバルエデュケーションセンター, 助教 (00608838) ; 石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545)
• Project Period (FY): 2014-04-01 – 2018-03-31
• Project Status: Completed (Fiscal Year 2017)
• Budget Amount: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2016: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2015: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2014: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: 言語テスト / 英語の発話能力 / 自動採点 / 発話能力 / 発話自動採点 / 音声認識 / 談話完成タスク / 評定者の信頼性

Outline of Final Research Achievements

We developed an automated scoring system for speech by Japanese learners of English and examined its practicality in an English language program. The system assesses the students' responses to tasks that were created to elicit the expressions learned in the program. The exact agreement is 74% between our system and the human scores.

Research Products

• [Journal Article] 英語学習者の発話自動採点システムの開発と英語教育プログラムへの導入可能性の検討 (2017)
  • Author(s): 近藤悠介, 石井雄隆
  • Journal Title: Language Education & Technology Volume: 54 Pages: 23-40
  • NAID: 40021285181
  • Peer Reviewed
• [Journal Article] ラーニング・アナリティクスと英語ライティング研究 (2017)
  • Author(s): 石井雄隆, 近藤悠介
  • Journal Title: 2016年度ICT授業実践報告書 Volume: -
• [Journal Article] 文書分類の手法と一般化線形モデルを用いた英語ライティングにおける文法的誤りの影響 (2015)
  • Author(s): 石井雄隆・近藤悠介
  • Journal Title: じんもんこん2015論文集 Volume: 1 Pages: 71-76
• [Journal Article] 日本人英語学習者の短い発話を自動採点するシステムの実現可能性の検討 (2015)
  • Author(s): 近藤 悠介
  • Journal Title: 情報処理学会第77回講演論文集 Volume: 4 Pages: 497-498
  • NAID: 170000165453
• [Presentation] テクノロジーと教育・学習・評価-自然言語処理・学習支援システム・自動採点の観点から- (2017)
  • Author(s): 石井雄隆, 金丸敏幸, 小野雄一, 近藤悠介
  • Organizer: 外国語教育メディア学会（LET）関東支部第139回（2017年度秋季）研究大会
  • Invited
• [Presentation] What can programming language do for our analysis? : The usefulness of jupyter notebook in the analysis of language testing (2016)
  • Author(s): Kondo, Y., & Ishii, Y.
  • Organizer: The 21st conference of Pan-Pacific Association of Applied Linguistics
  • Place of Presentation: Tamkang University, Taiwan
  • Year and Date: 2016-08-22
  • Int'l Joint Research
• [Presentation] コンピュータによる発話自動採点の導入可能性を考える: MyETの利用調査 (2016)
  • Author(s): 石井雄隆, 近藤悠介
  • Organizer: 外国語教育メディア学会関西支部春季大会
  • Place of Presentation: 神戸学院大学
• [Presentation] パフォーマンス評価も自動採点で大丈夫？ (2016)
  • Author(s): 近藤悠介
  • Organizer: FLExICT Conference
  • Place of Presentation: 立命館大学
  • Invited
• [Presentation] Demonstrating practicality of automated scoring system for L2 speech in English language program (2015)
  • Author(s): Kondo, Y., & Ishii, Y.
  • Organizer: The 20th conference of Pan-Pacific Association of Applied Linguistics
  • Place of Presentation: Korea University, Seoul, South Korea
  • Year and Date: 2015-12-06
  • Int'l Joint Research
• [Presentation] 機能シラバスに基づいた英語教育プログラムにおける発話自動採点システム導入可能性の検討 (2015)
  • Author(s): 近藤悠介, 石井雄隆,
  • Organizer: 外国語教育メディア学会(LET)第55回全国研究大会
  • Place of Presentation: 里ライフサイエンスセンター, 大阪
  • Year and Date: 2015-08-05
• [Presentation] 英語教育における音声指導と評価：スピーキングと発音 (2015)
  • Author(s): 小泉 利恵, 近藤 悠介, 斉藤 一弥
  • Organizer: 外国語教育メディア学会(LET)関西支部2015年度春季研究大会
  • Place of Presentation: 大阪電気通信大学, 大阪
  • Year and Date: 2015-05-23
  • Invited
• [Presentation] Evaluation of the reliability for L2 speech rating in discourse completion test (2015)
  • Author(s): Kondo, Y & Ishii, Y.
  • Organizer: 2015 Joint International Methodology Research Colloquium
  • Place of Presentation: National Institute for International Education (NIIED), Seoul, South Korea
  • Year and Date: 2015-05-16
  • Int'l Joint Research
• [Presentation] ICT調査研究特別委員会報告 ICTを活用した英語教育: Wiki、電子教材、発話自動採点 (2014)
  • Author(s): 中野美知子, 大和田和治, 近藤悠介, 吉田諭史, 上田倫史
  • Organizer: 大学英語教育学会第53回（2014年度）国際大会
  • Place of Presentation: 広島市立大学
  • Year and Date: 2014-08-28 – 2014-08-29
• [Book] ICTを活用した英語アカデミック・ライティング指導―支援ツールの開発と実践― (2017)
  • Author(s): 水本篤, 染谷泰正, 山本敏幸, 浜谷佐和子, 小山由紀江, 近藤悠介, 今尾康裕, 大野真澄, 濱地亮太, 名部井敏代, 山西博之
  • Total Pages: 124
  • Publisher: 金星堂
  • ISBN: 4764711672
• [Book] 英語教育の実践的探究 (2015)
  • Author(s): 中野美知子
  • Total Pages: 500
  • Publisher: 渓水社