2022 Fiscal Year Research-status Report
Development of a method for synonymous expressions based on annotated predicate-argument graph data and its application to automatic essay scoring
| Project/Area Number |
22K00530
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
竹内 孔一 岡山大学, 自然科学学域, 准教授 (80311174)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 小論文 / 自動採点 / 言い換え / タグ付与 / 理解力 / 深層学習 / 述語項構造 / 類義表現 |
|---|
| Outline of Annual Research Achievements |
初年度として，日本語小論文データの小論文に対するタグ付与作業の環境の構築，付与するタグの内容の検討，付与するタグの整理，タグ付与作業の実施，および学会での発表を行った．
小論文に対する類似部分を複数の作業者で付与して整理するためにWebサーバを利用したタグ付与環境をフリーのツールを利用して構築した．付与するタグの内容について，ルーブリックに記述されている内容を基に小論文の評価に関係する部分を各課題について設定した．小論文評価には評価軸として4種類設定されているが，そのうち「理解力」に集中してタグ付与することを決定した．これは評価軸を絞ることで付与できる小論文数を増やすことと，記述内容に関連した評価軸であるため，言い換えが多く出現することが期待されるためである．
各小論文課題について，「理解力」の評価に関係するタグを定義して付与作業を実施して，タグが付与可能かどうか検討した．小論文課題は1つのテーマについて3件課題があり，2名の作業で2テーマで6課題分の小論文(約1200件)に対して付与を実施した．課題ごとにタグの性質が異なるため，付与すべきタグの数と内容が異なる．例えば，「グローバリゼーションの光と影」のテーマにおける問1の課題において付与タグは8種類に設定した．付与タグの特徴として，ルーブリックに指摘している内容が記述されていても，正しくない内容が記載されている場合には「?」など異なるタグを設定した．
また，小論文の採点手法に関する開発も進めた．模範答案を利用して採点精度を向上させる手法として機械学習を利用した手法を提案し国際会議で発表した．さらに，他の手法として，採点済みデータを言語生成モデルで拡張して事前学習済みの深層学習モデルで採点する手法を提案して国内の会議で発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
小論文データに対して中心となる4テーマのうち，すでに2テーマ6課題についてタグを付与しており順調であると考えられる．当初，評価の対象としてルーブリックを基にタグを設定しようとしたが，各解答者が記述した小論文の内容から，初期の設定以上にタグを必要とすることが明らかになった．具体的に説明すると，上記の問1の課題ではグローバリゼーションの影響について世界の所得格差がどう変化したかについて質問している．ルーブリックではグローバリゼーションの光と影の側面を両方記述している小論文に高い得点を与えるように指示しているため，小論文中では「光」「影」に関して記述している部分をマークする．しかしながら，課題に対して提示されている資料からは，グローバリゼーションの光は各国の国家間での所得格差の縮小であり，影の部分は国内での所得格差の拡大が指摘されている．想定としては，「光」の部分は「格差縮小」の説明が記述され，「影」の部分では「格差拡大」が記述されることが期待された．しかし小論文では資料にはない「光」の説明が記述されることもあるため，「格差縮小」「格差拡大」のタグも用意して，類似表現をタグで指摘できるようにした．このようにタグ付与に関して具体的に考察を進めることができた．
また，小論文の自動採点手法について多くの採点済み小論文が必要となるという問題点について取り組みを進めることができた．模範答案のみを利用して採点モデルを構築する手法では，模範答案から小論文の特徴量を作成する手法としてBERT(768次元) とBOW(約19万次元)によるニューラルネットワークを利用したモデルを比較し，BOWの方がテストデータの小論文に対する分類性能が高い結果を得た．この結果から語彙の異なり捉えることが採点モデルとして重要であるという知見を得ることができた．
|
| Strategy for Future Research Activity |
小論文の各課題に対して評価の対象となる表現の付与を引き続き行う．特に最初の4テーマ12課題については全ての課題で付与タグの設定と付与作業者で進める予定である．1テーマで3課題あるが，各課題は課題1が最も基本的な内容を問う課題であり，課題3がより応用的な課題となるように設計されている．現在2テーマについて課題3に対する付与タグを設定しているが，解答者自身の考え方を問う課題であるため，解答者の「見解」や「具体例」といった文書の構造に近いタグを設定している．こうしたタグの整理を進める．
一方で，述語と項の関係を同定する構造解析について，自動付与システムの改善を行なう予定である．背景として日本語に対して述語項構造シソーラスに基づいて日本語の文書に対して述語の概念フレームと意味役割を付与したNPCMJ-PTが構築されている．このタグ付きコーパスを基に深層学習を利用したモデル化を行うことで精度の高い自動付与モデルを構築する予定である．深層学習モデルによる述語項構造解析システムを利用して小論文に対する述語項構造を付与する予定であるが，精度が高くない場合には従来のルールベースの基づく述語項構造解析システムなどを利用する．自動付与の精度には限界があることが想定されるため，作業者による修正が必要になると考えられる．ただし，付与作業の優先順位としては上記の評価対象の付与を優先する．
小論文中でタグ付与された評価対象の表現を利用した分析を実施する．一つは類似表現の整理である．同じタグが付与された複数の小論文の表現をまとめることで，ある内容を記述しようとするときにどのぐらいの表現の幅があらわれるかをまとめるものである．もう一つは評価対象を重視した採点手法である．採点手法の向上に向けて評価対象部分を取り込んだモデルを検討する．さらに，近年話題の大規模言語モデルの利用も検討する．
|
Research Products
(2 results)
