Quantification of writing style feature of reports using machine learning

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K03135
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Osaka Sangyo University
• Principal Investigator: Ohno Asako 大阪産業大学, 工学部, 准教授 (90550369)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 記述特徴 / 授業課題レポートにおける盗用発見 / 機械学習 / 作成者認証 / 決定木 / ランダムフォレスト / 隠れマルコフモデル / 知的学習支援システム

Outline of Final Research Achievements

In this study, we improved a method to support plagiarism detection by having a hidden Markov model learn the "description features" (writing style "habits") of the author of a class assignment report and perform author authentication with the following main results. (1) We developed a system that identifies report documents created by the same person with approximately 90% accuracy by using "Word formatting information" obtained from XML (Extensible Markup Language) analysis of Word documents (.docx files) as author features. (2) We constructed a decision tree model to visualize information on "differences in writing style", which is the basis for author authentication, and classification rules for report authors based on "description features" and "Word formatting information".

Free Research Field

教育工学

Academic Significance and Societal Importance of the Research Achievements

授業課題レポートは同一テーマについて同じ学習進度の学生が一斉に作成することから、内容が類似しやすい。本研究では、このような性質をもつ授業課題レポートの盗用発見という目的に特化し、人の行う「レポート文書の作成者の推定」に倣った独自の視点による手法を提案している。本研究の成果として提案した手法を併用することで、従来の内容の類似に基づく盗用発見において危惧される偶然の一致による誤判定のリスクを低減しながら高精度の盗用発見を行うことが期待できる。また、本手法を用いてレポート作成者認証の根拠を視覚的に示すことは教員・学生の双方に「納得のいく」盗用発見の実現につながり、社会における一つの貢献となり得る。