語学学習支援システムにおける能力測定のための自動作問技術に関する研究

2018 年度 実施状況報告書

• 研究課題/領域番号: 18K18118
• 研究機関: 静岡理工科大学
• 研究代表者: 江原 遥 静岡理工科大学, 情報学部, 講師 (60738029)
• 研究期間 (年度): 2018-04-01 – 2022-03-31
• キーワード: 語学学習支援 / 機械学習 / 項目反応理論 / テスト理論 / クラウドソーシング

研究実績の概要

本研究の目的は、語学学習支援システムにおける能力測定のための自動作問技術を開発することである。機械学習による自動作問器は、作成するだけであれば多数の問題を自動的に作成することは可能であるので、問題の質（良さ）の数値的評価を低コストで行うことができれば、質の高い問題を選び出すことが可能となる。問題の質を、経験のある語学教師によって人手評価を行うなどすると高コストになるので、なるべく（半）自動的に行うことが望ましい。ここで、テスト理論（項目反応理論）では、「他の設問で能力が高いと測定された学習者は正答しやすく、他の設問で能力が低いと測定された学習者は正当しにくい」問題であるかどうかを数値的に評価することで、設問の内容に依存せずに問題の質を評価することが可能となる。この性質を利用して、問題の質を自動的に評価することで、質の高い作問を可能とする生成器を構築することが本研究の主眼となる。生成器の作成には敵対的学習を用いることも考えられる。
本年度は、本研究の遂行に必要となる研究機材・データの購入に主に用いた。自動作問によって作成した試験はクラウドソーシングサービス（主にランサーズ社）を通じて不特定多数に受けてもらえる環境を整えた。また、クラウドソーシングではなく実環境で被験者に解いてもらうことにより、より高精度に作問した問題の品質を評価するため、表示機器等を購入した。
一方、平成30年度は自然言語処理分野全体として、穴埋め問題の作成などに用いられる言語モデルについて、ELMo(NAACL2018)やBERT(NAACL2019)等の深層学習を用いたブレイクスルーが報告され、分野全体の方向性が大きく変革した。自動作問技術も、これらの技術を用いた研究が今後数年で主流になることが容易に想定された。こうした先進技術を取り入れるため、これらの技術の調査を主眼に行った。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

本研究の遂行に必要となる研究機材・データの購入や作成を行ったため。自動作問によって作成した試験はクラウドソーシングサービス（主にランサーズ社）を通じて不特定多数に受けてもらえる環境を整えた。また、クラウドソーシングではなく実環境で被験者に解いてもらうことにより、より高精度に作問した問題の品質を評価するため、表示機器等を購入した。
また、拙速に従来技術の小規模改善を行うことよりも深層学習を用いた先端技術の調査にエフォートを割き、次年度以降に具体的にモデル提案を行う準備を整えた。自動作問については、穴埋め問題の作成などに用いられる言語モデル技術において、ELMo(NAACL2018)やBERT(NAACL2019)等の深層学習を用いたブレイクスルーが報告された。これにより、今後、自動作問技術も、こうした技術を用いた研究が今後数年で主流になることが容易に想定される状況に変化した。まずは、これらの先端技術の基礎的な性質を調べるための文献調査や、予備実験を行うことに努めた。調査によって、平成30年度に提案されたこれらの先進的な手法を、本研究の目的に合わせて改善することにより、次年度以降に、今後主流となりえる先端技術を用いた自動作問を行う準備がととのった。

今後の研究の推進方策

今後の研究の推進方策としては、平成30年度に調査を行った深層学習を用いたモデルを利用して、具体的なモデル提案を行うことが挙げられる。研究計画書では、作問の質を評価するために、不特定多数の被験者にわずかに異なる問題を繰り返し投稿することで試験を受けてもらうHuman-in-the-loopという半自動手法を主眼においていた。語学教師に評価してもらうよりは低コストではあるが、繰り返しの投稿にコストがかかる問題や、そもそも作成した問題が流出する可能性もあるため、なるべく繰り返しの投稿は少ない方が望ましい。本年度の調査によって、性能の高い言語モデルを用いれば、最初の段階でより高精度な作問を行うことが可能となると思われる。また、実際に人間に回答させるのではなく、これらの技術を用いて回答者を模倣させることで、精度向上を高める工夫もおそらく可能と思われる。問題には多肢選択式や記入式など様々な形態があるうえ、回答者集団全体の能力の分布も様々なものが考えられる。前述の深層学習技術は、こうした複数の問題設定（タスク）に同時に対応することによって、より精度を高めるマルチタスクラーニングの設定でもよく用いられるため、本研究の目的においても、この性質を利用することが考えられる。例えば、公開されている多数の言語テストの結果データを同時に用いることによって、作問の性質を向上させる方向性があり得る。
前述の深層学習を用いた先進的な言語モデルは、生成モデルであることから、敵対的学習とも親和性が高いと考えられる。こうした調査結果を参考に、次年度以降に、こうした先進的な言語モデルを用いた作問技術のプロトタイプを作成することを目指す。

次年度使用額が生じた理由

平成30年度は、自然言語処理分野全体で、本研究の単語穴埋めなどの作問技術の基礎となる、言語モデル技術に深層学習を用いた大きなブレイクスルーが公表された。そのため、従来技術を小さく改良した手法の提案して国際会議などで発表することよりも、こうした先進技術を取り込むための調査を優先した。国際会議などでの発表にかかる旅費よりも、調査にかかる費用の方が安価になったため、次年度使用額が生じた。国際会議・論文発表は次年度以降に行う予定であるので、使用時期が年度を超えたため次年度使用額が生じたものの、計画全体として必要な額は変わらない。