2014 Fiscal Year Research-status Report
記述モデルに基づいた レポート盗用発見シス テムの構築
| Project/Area Number |
25330408
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
村尾 元 神戸大学, 国際文化学研究科, 教授 (70273761)
|
|---|
| Project Period (FY) |
2013-04-01 – 2016-03-31
|
| Keywords | 機械学習 / 盗用発見 / 教育工学 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，授業のレポート課題に適した盗用発見システムを構築することである．授業で作成されたレポートは同一のテーマについて書かれているために，内容のみに基づいて盗用の判定を行うのは困難である．これを克服するため，本研究ではレポートの「表面的な特徴」に基づいて盗用判定を行う．すなわち，あらかじめ作成者が明らかなレポートの「表面的な特徴」から，そのレポート作成者に関する記述者モデルを作成しておき，疑わしいレポートが得られる度に，それが実際に作成者によって書かれたものか，それとも盗用であるかを，このモデルへの合致度合いに基づいて判定する．
本年度は，昨年構築した記述者モデルに基づく判定システムをWebアプリケーションとして実装し，研究室の複数の学生を対象として，より実際的な環境でのテストを行った。すなわち，課題に基づいて簡単なテキスト文書を作成させ，Webアプリケーションを利用して提出してもらう。Webアプリケーションを利用する際には，各学生に割り当てたユーザIDを用いてログインさせる。記述モデルの学習が不十分な間は，各ユーザID毎に，提出されたテキスト文書を用いて記述モデルを学習し，十分に学習が進んだのちには，提出されるそれぞれのテキスト文書について，記述者モデルとの合致度から，本当にログインしているユーザの作成したテキスト文書であるかどうかを判定した。実験の結果，判定率は70%弱にとどまった。
判定率が高いとは言えない程度にとどまった原因としては，学習に用いるテキスト文書の問題と，記述者モデルの構造の問題が考えられる。前者の問題については，課題の出し方の工夫により対処できると考えられる。後者の問題については文書の特徴などを見ながら再検討する必要がある。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
Web上のプロトタイプの作成に時間がかかり，予定していた実際の授業での試験運用を行えなかった。また，昨年実施した事前のテストでは比較的良好なテスト結果が出ていたところ，Web上のプロトタイプを用いた簡単なテストでは結果がかなり悪化してしまった。これについて考察・検討を行ったところ，次の2つの原因があることが判明した。原因1) 課題では，通常の場合と比べて，学生の文体が変化するが，その点について，記述モデルでは想定されていなかった。すなわち，モデルに埋め込んだ文章構造が，課題に対して提出される文章の構造とは大きく異なっていたため，記述モデルを正確に学習できなかった。原因2) 実際の運用においては，最初の方に提出された文章を全て正解と見なして，これを用いて学習を行い，十分に学習が進んだのちに，提出された文章に対して，盗用判定を行う。しかし，「十分な学習」に対する判定基準が適切ではなかったため，十分に学習を行わないまま盗用判定を行ったり，盗用された文章を用いて学習を行ったりという事態が発生していた。
|
| Strategy for Future Research Activity |
まず，今年度の早い段階で，昨年度に計画していた授業での試験運用を行う。それに先だって，プロトタイプを用いたテストの考察結果に基づいて，システムの修正を行う。まず，第一に，記述者モデルの修正を行う。すなわち，課題に対して提出されて文章の構造を分析し，これに基づいた文章構造を記述モデルに埋め込む。第二に，記述モデル内のパラメータを運用中に監視し，学習終了と盗用判定開始を切り替えるタイミングを適応的に決定するアルゴリズムを実装する。これは，パラメータの値がある閾値に達すれば切り替えるという単純なもので，すでに提出された複数の課題を利用することで比較的容易に閾値を決定することができると考えている。その他については，プロトタイプ授業での試験運用ができなかった以外は概ね当初の計画通り進んでいるおり，当初計画通り研究を遂行する。
|
| Causes of Carryover |
様々な書類，様式等の電子化を進めたところ，プリンタ用紙の使用量が予定以下となり，予定した分を今年度購入する必要がなかったため。
|
| Expenditure Plan for Carryover Budget |
すでにプリンタ用紙の残は少なく，一方，本年度は研究最終年度であり，成果報告や論文の投稿などで印刷物も多いことが予想されるため，前年予定していた分のプリンタ用紙を本年購入する。
|
