2018 Fiscal Year Research-status Report
New method of evaluating English speaking ability using AI
| Project/Area Number |
18K00809
|
|---|
| Research Institution | Kobe Gakuin University |
|---|
Principal Investigator |
東 淳一 神戸学院大学, グローバル・コミュニケーション学部, 教授 (90202621)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
新谷 奈津子 神戸学院大学, グローバル・コミュニケーション学部, 准教授 (60815778)
仁科 恭徳 神戸学院大学, グローバル・コミュニケーション学部, 准教授 (00572778)
小泉 利恵 順天堂大学, 医学部, 准教授 (70433571)
金丸 敏幸 京都大学, 国際高等教育院, 准教授 (70435791)
山下 仁司 大阪大学, 高等教育・入試研究開発センター, 教授 (90786526)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 人工知能 / 英語スピーキング / タスク / 英語スピーキング力評価 / TTS |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、英語のスピーキングの学習を促す教具としての人工知能の有効性と、英語スピーキング力測定の際の学習情報収集用教育ツールとしての人工知能の有効性の両方を検証するための実証実験を行うことである。
１年目の研究準備段階では、まず英語学習サポートのために開発されたアメリカAKA社の人工知能ロボットであるMusioを導入し、その動作確認を行った。Musioを使えば、学習者は自由に英語での対話が可能である。Musioはまず学習者が話す英語を音声認識し、認識された内容に応じてクラウド上にある膨大な情報をみずから検索して回答を返すことができる。このMusioの機能をまず研究メンバー全員で確認し、今後の研究計画を立案した。今年度についてはMusioとの英語での対話を通じて、ある問題の回答を導くためのタスクを構築することとした。
Musio導入後にわかったことであるが、Musioは基本的に学習者から発せられた１つの質問に対して１つの回答をすることになっており、１度行った対話内容を記憶して対話を自発的に発展させるという能力はもっていない。そこで、まずタスクの開発にあたっては、複数の独立した対話をもとに学習者が回答を引き出すという形式のものをいくつか考案した。例えば、日本で一番高い山とアメリカで一番高い山との標高差を求めるなどである。最新のMusioのバージョンではTTS合成音声の発話速度が変更可能であるが、この機能の確認も行った。TTS合成音声の品質についても他の市販TTS合成音と比較しつつ検討した。
Musio導入にあたっては、Musio用スマートフォンアプリを同時に導入することによって学習者の学習履歴および会話内容の記録取得が可能になる。これらの利用方法についても検討を加えた。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
人工知能ロボットMusioの設定がかなりデリケートであり、このためセットアップできるまでにかなりの時間を要した。第一の関門は、Musioを、その頭脳であるインターネット上の専用クラウドに接続するための無線ネットワーク設定である。研究メンバーの所属機関においてはまず組織内LANに接続するための認証を行い、さらにインターネット接続のためにもう一度認証が必要なことが多い。このような環境においてはMusioのインターネット接続は不可能である。この問題をクリアする１つの方法は、携帯電話のテザリングを利用することである。もう１つの方法はMacなどコンピュータを学内ネットワークに有線で接続しておき、そこでインターネット共有を行うやり方である。また、Musioが対応する無線方式には限定があり、現在のところSpeed Wi-Fiの端末では接続できない。Musio導入後にこれら問題に気付き、テザリングやMacを使ったインターネット共有で解決できることを理解するまでにかなりの時間がかかっている。また、Musioアプリにおいて会話のログが取れないという問題があり、これは年度内に解決を見ていない。
このため、タスクの予備開発に着手したのが2018年の10月となってしまい、今年度については主にタスクの予備開発の検証しかできなかったのが実情である。
|
| Strategy for Future Research Activity |
今後の研究推進内容であるが、特に2019年度については、（１）Musioとの自由な英会話によりタスクの実行が可能であるのかの検証、（２）（１）にもとづいたタスクの構築、（３）ある程度コントロールされた会話によりスピーキング評価が可能になる「Academy Plan」のモードの実証実験などを実施する。また、開発元によるサポートが必要であるが、Musioアプリの一部不具合が解消されることにより、会話ログが完全に取得できる体制を整え、会話ログをもとにどのようなスピーキング力の評価が可能であるのかを検討する。
万一会話ログの取得が困難である場合には、英語Native Speaker教員との対話のケースとの比較を行いつつ、Musioとの対話において学習者の声量がどのように変化していくのか、学習者の発汗量がどのように変化していくのか、Musio利用中に学習者の感情がどのように変化していくのか（学習者の表情変化の解析を行う特殊なアプリケーションを利用）等、Musioを使用することによる学習者の心理的変化を、ある程度定量的に推定するための実験も実施する予定である。
2020年度以降には、会話ログをもとに語彙複雑性、統語的複雑性、正確性等の観点から、Musioを用いた具体的な英語スピーキング力評価の方策を確立し、外部試験の評価あるいは通常授業の成績評価と、Musioを用いた英語スピーキング力評価との間に相関があるかどうかを分析する。
|
-
-
-
-
-
-
-
-
-
-
[Presentation] Development and evaluation of spoken interaction tasks and a rating scale based on CEFR-J using multifaceted Rasch measurement: A pilot study2018
Author(s)
Koizumi, R., Kaneko, E., In’nami, Y., & Naganuma, N.
Organizer
Symposium conducted at the Pacific-Rim Objective Measurement Symposium (PROMS) 2018, Fudan University, Shanghai, China. (invited)
Int'l Joint Research / Invited
-
-
-
-
-
-
-
-
-
