グローバル人材の会話力を短時間で評価する対話型スピーキングテストシステムの開発

• Project/Area Number: 21K00668
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 02100:Foreign language education-related
• Research Institution: Momoyama Gakuin University
• Principal Investigator: 藤田 智子 桃山学院大学, 経営学部, 教授 (80329002)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥2,210,000 (Direct Cost: ¥1,700,000、Indirect Cost: ¥510,000); Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000); Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
• Keywords: 英語スピーキング能力 / 評価方法 / 機械と人による採点 / 発語数 / 大量受験者の同時受験 / 音声自動入力システム / グローバル人材 / テストタスク / 英語スピーキング能力の」評価 / 対話型スピーキングテスト / 機械採点 / グループオーラルテスト / 大学入学試験 / スピーキングテスト評価基準 / 大量受験者同時評価 / スピーキングテスト / 内容言語統合型学習（CLIL） / 対話型テスト

Outline of Research at the Start

従来の英語スピーキングテストで重視していなかった、インタラクション能力、対人適応力、認知能力や集団形成力を測るスピーキングテストの開発を目指す。さらに、このテストを多くの被験者に同時に実施する事を可能にする為、3人が同時に受験できる対話型テスト形式や「発語数」を基にした機械採点導入の研究を推進する。
本テストシステムの波及効果として、言語習得だけでなく、学習者の認知能力、集団形成力の育成を同時に目指す内容言語統合型学習(CLIL)の普及を期待する。そして、間違いを恐れず積極的な対話方略を身につけた日本人学習者達のグローバルな活躍に繋がることをめざしている。

Outline of Annual Research Achievements

主観が入りやすいスピーキングテストの評価には、トレーニングを受けた複数の評価者が共通のルーブリックを使って実施するのが普通である。しかし、これには非常に時間がかかり多数の受験者を同時に評価するのは難しい。大学の全学必須英語スピーキングコースでは、自分の担当クラスの学生の評価を1人の教員が実施することが一般的であるが、評価者による差が大きく信頼性が非常に低くなる可能性指摘されている（Fujita, et.al. 2012）。
ここ約10年でスピーキングテストの（機械）自動採点技術が急速に進歩しているが、TOEFLスピーキングテストでも未だに完全に自動採点のみで評価結果を出すまでには未だ至っていない（Davis＆Papageorgiou, 2022）。また、自動採点をするには産出されたスピーキングの長さが短い（150語以下/1分）場合は評価し難いと言われており、中級以下の学習者への実用化にはさらに時間がかかると考えている。
そこで、担当教員が1人でスピーキング能力を評価するとき、発話数などの客観的なデータとともに発話を書きおこした原稿が評価の手がかりとなり、信頼性が少しでも高くなるかどうかを検証するためにスピーキングテストの予備テストを実施して評価する構想を進めている。
このテストは音声自動入力ができるアプリを使用して、被験者が入力した音声とそれを書きおこした原稿を評価者が同時に受け取ることができるシステムである。予備実験として、評価者が①音声のみで評価する場合と、②音声と書きおこし原稿の両方で評価する場合を比較する予定である。これについては数人の被験者による本テストのデモンストレーションを実施したところである。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

学部長職にあり忙殺されていたことやCOVID-19感染拡大の影響を受けて遅れていた進捗状況であったが、本年度は以前より研究に時間をかけることができ、やや遅れを取り戻すことができた。昨秋にはイギリスの研究協力者が所属する言語評価研究所を訪問して対面での打ち合わせが実現し、スピーキングテスト評価方法について機械採点と人採点の割合などについての研究に対する助言を受けた。また、23年度中の予備テスト実施に向けての準備として、必要な機器（高性能のマイクやビデオカメラ等）を購入した。これらの機器購入については、東京工業大学で教育工学を専攻する大学院生たちに協力してもらった。また、彼らの協力を得て、携帯電話の音声入力が自動でできるアプリを介し、スピーキングテストの録音デモンストレーションを実施することができた。

Strategy for Future Research Activity

スピーキング予備テスト実施に向けて必要な機器の購入や大まかな手順などは3月末までに整った。そして、現在フォーカスを当て重点的に取り組んでいるのは、スピーキングテストの①評価の仕方と②テストタスクである。
評価の仕方：近年スピーキングテストの機械採点は、急速に進化を遂げているが、特に中級以下のレベルの英語学習者に対しては人による採点を全く介さずに結果を出すまでには至っていない。そこで、評価者が1人のとき、自動音声入力で被験者の発話を書きおこし、さらに発話数などの客観的データを合わせた原稿を参照して評価することで信頼性が高まるか評価が可能かどうかを検証する。
テストタスク：グローバル人材の英語スピーキング能力を測るためのテストタスクとして、①知らない単語を既知の単語を使って何とかして伝える能力や、②動画を見てそこで行われていることを想像して伝える能力など、従来の語学能力のみに焦点を当てて測定するタイプのテストでは使用されてこなかったタスクを考案しようと計画している。