グローバル人材の会話力を短時間で評価する対話型スピーキングテストシステムの開発

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K00668
• Research Institution: Momoyama Gakuin University
• Principal Investigator: 藤田 智子 桃山学院大学, 経営学部, 教授 (80329002)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 英語スピーキング能力 / 評価方法 / 機械と人による採点 / 発語数 / 大量受験者の同時受験 / 音声自動入力システム / グローバル人材 / テストタスク

Outline of Annual Research Achievements

主観が入りやすいスピーキングテストの評価には、トレーニングを受けた複数の評価者が共通のルーブリックを使って実施するのが普通である。しかし、これには非常に時間がかかり多数の受験者を同時に評価するのは難しい。大学の全学必須英語スピーキングコースでは、自分の担当クラスの学生の評価を1人の教員が実施することが一般的であるが、評価者による差が大きく信頼性が非常に低くなる可能性指摘されている（Fujita, et.al. 2012）。
ここ約10年でスピーキングテストの（機械）自動採点技術が急速に進歩しているが、TOEFLスピーキングテストでも未だに完全に自動採点のみで評価結果を出すまでには未だ至っていない（Davis＆Papageorgiou, 2022）。また、自動採点をするには産出されたスピーキングの長さが短い（150語以下/1分）場合は評価し難いと言われており、中級以下の学習者への実用化にはさらに時間がかかると考えている。
そこで、担当教員が1人でスピーキング能力を評価するとき、発話数などの客観的なデータとともに発話を書きおこした原稿が評価の手がかりとなり、信頼性が少しでも高くなるかどうかを検証するためにスピーキングテストの予備テストを実施して評価する構想を進めている。
このテストは音声自動入力ができるアプリを使用して、被験者が入力した音声とそれを書きおこした原稿を評価者が同時に受け取ることができるシステムである。予備実験として、評価者が①音声のみで評価する場合と、②音声と書きおこし原稿の両方で評価する場合を比較する予定である。これについては数人の被験者による本テストのデモンストレーションを実施したところである。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

学部長職にあり忙殺されていたことやCOVID-19感染拡大の影響を受けて遅れていた進捗状況であったが、本年度は以前より研究に時間をかけることができ、やや遅れを取り戻すことができた。昨秋にはイギリスの研究協力者が所属する言語評価研究所を訪問して対面での打ち合わせが実現し、スピーキングテスト評価方法について機械採点と人採点の割合などについての研究に対する助言を受けた。また、23年度中の予備テスト実施に向けての準備として、必要な機器（高性能のマイクやビデオカメラ等）を購入した。これらの機器購入については、東京工業大学で教育工学を専攻する大学院生たちに協力してもらった。また、彼らの協力を得て、携帯電話の音声入力が自動でできるアプリを介し、スピーキングテストの録音デモンストレーションを実施することができた。

Strategy for Future Research Activity

スピーキング予備テスト実施に向けて必要な機器の購入や大まかな手順などは3月末までに整った。そして、現在フォーカスを当て重点的に取り組んでいるのは、スピーキングテストの①評価の仕方と②テストタスクである。
評価の仕方：近年スピーキングテストの機械採点は、急速に進化を遂げているが、特に中級以下のレベルの英語学習者に対しては人による採点を全く介さずに結果を出すまでには至っていない。そこで、評価者が1人のとき、自動音声入力で被験者の発話を書きおこし、さらに発話数などの客観的データを合わせた原稿を参照して評価することで信頼性が高まるか評価が可能かどうかを検証する。
テストタスク：グローバル人材の英語スピーキング能力を測るためのテストタスクとして、①知らない単語を既知の単語を使って何とかして伝える能力や、②動画を見てそこで行われていることを想像して伝える能力など、従来の語学能力のみに焦点を当てて測定するタイプのテストでは使用されてこなかったタスクを考案しようと計画している。

Causes of Carryover

学部長職にあり忙殺されていたことやCOVID-19感染拡大の影響を受け、今年度までの計画が大幅に遅れていた。22年度に入ってからは、研究の為に思うように時間がとれるようになり、またCOVID-19感染拡大の状況も落ち着きを見せてきたので、急速に遅れを取り戻すことができた。しかし、それでも2年間の遅れを一気に取り戻すことは難しかった。特に、COVID-19感染拡大によりスピーキングテストの対面での実施が全くできず、データの収集が少人数の予備実験でさえ困難であったことの影響が大きい。
今後の使用計画としては、まず第1にスピーキングテスト実施に伴う出費を予定している。スピーキングテストは40人位の被験者に対し、8～10人の評価者を想定している。また、データ整理のサポート、分析方法や結果の検証が必要となり、被験者、評価者をはじめデータ整理や分析検証サポートに対する謝金が必要となる。また、分析結果の検証打ち合わせ、研究発表に関わる旅費や、出版その他の出費を次年度に残す必要があると考えている。