2020 Fiscal Year Annual Research Report
Argumentative structure based summarization for Japanese judgment documents
| Project/Area Number |
20J14385
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
山田 寛章 東京工業大学, 情報理工学院, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | 自然言語処理 / 機械学習 / 議論構造 / 自動要約 / 法律情報処理 / 談話構造 / 議論マイニング |
|---|
| Outline of Annual Research Achievements |
本年度の研究では、日本の判決書の自動要約への応用を目的として、判決書からその議論構造を自動抽出する手法を提案した。判決書は裁判官が法的議論を文章として記録したものであり、その重要な特徴として裁判官の最終的判断である判決を最上位とする階層的議論構造を持つ。階層的議論構造とは、ある議論が根拠として別の議論を支持する構造である。「争点 (Issue Topic)」と呼ばれる論点ごとの議論が判決を支持し、各争点の結論はさらに下位の階層の議論によって支持される。そこで、本研究ではこの構造を自動抽出した上で判決書の要約へ応用するシステムの枠組みを提案した。
このうち議論構造抽出手法の開発では、1．文書中の各文の修辞的役割の特定、2．文間の支持関係特定、3．争点の特定、4．各文の争点へ関連付けの四つのタスクについて取り組み、それぞれのタスクで一定の精度を達成した。本年度の研究の主な貢献として、判決書中に存在する節の見出し文と議論構造の関係に着目し、見出し文の情報を議論構造の自動抽出手法に組み込んだ点が挙げられる。
また、議論構造を考慮することが要約の性能向上に資することを検証するため、議論構造を用いて要約内容を誘導する機構を導入した要約器と通常の要約器の性能を比較する実験を行った。要約内容の誘導機構は、修辞役割分類と見出し情報を用いて要約器への入力を制御する前段処理と、争点の情報と議論的支持関係を用いて要約器からの出力を編集する後段処理から構成される。自動抽出した議論構造を誘導機構に用いた実験では、ROUGE-1を基準とした評価において有意な性能向上がみとめられ、コーパスに人手で付与された議論構造を誘導機構に用いた実験では、ROUGE-1、 2、 Lを基準とした評価において誘導機構による有意な性能の向上が認められた。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度は判決書からの議論構造抽出の手法の開発、及び要約生成実験のための人手による要約データ構築を行う予定であった。
議論構造抽出手法の開発では、1．各文の修辞的役割分類、2．文間支持関係特定、3．争点特定、4．各文の争点への関連付けの四タスクについて取り組み、一定の精度を達成した。修辞役割分類では、階層型再帰ニューラルネットワークを用いて文間文脈を考慮するモデルを元に、文が属する見出し文を専用に処理する独立した見出しエンコーダからの素性を考慮して各文の修辞役割を予測する手法を提案した。また、見出しエンコーダを用いて見出し文からその配下にある文が担いうる修辞役割の集合を予測する副タスクを同時に学習する手法を提案した。提案したモデルはいずれも従来の階層型RNNモデルを用いた手法に対して有意に高い性能を示した。文間の支持関係の抽出タスクでは、支持関係の支持文と被支持文が特定の修辞役割を担うことから、支持関係抽出タスク単独で学習する手法に加えて修辞役割分類を同時に学習する手法を提案し、比較実験を行った。実験結果から、修辞役割分類との同時学習は支持関係抽出タスクの性能を有意に向上させることを示した。争点抽出および関連付けタスクでは、事前学習済みBERTを各タスクに fine-tuningすることで抽出・関連付けの自動化を行った。
また、人手による要約データの構築については、外部の法学領域の専門家に依頼して計120件の判決書に対して要約データを作成した。
以上の課題は計画よりも早い段階で一定の成果を得ることができたため、当初計画では次年度に実施する予定であった議論構造を利用した要約生成の実験も本年度中に実施した。要約生成の実験では、議論構造を利用して要約を生成する手法と構造を考慮しない手法との比較実験を実施した。実験の結果、議論構造を利用することが要約を有意に向上させることが確認できた。
|
| Strategy for Future Research Activity |
次年度では主に2つの研究項目を実施予定である。
①議論構造抽出手法モデルの改善
本年度の実験により、議論構造抽出結果を判決書要約に応用することが性能向上に寄与することが確認できたものの、現状の議論構造抽出の性能には改善の余地がある。特に、修辞役割分類の性能が要約品質に大きな影響を与えることがわかっており、次年度では修辞役割分類モデルの改善を特に行う。具体的には、法律分野の文書のみから構成される大規模コーパスを用いて事前学習済みモデルを構築し、これを修辞役割分類モデルに組み込む実験を行う。
②専門家による自動要約結果の評価
当初より次年度計画にあった専門家による要約の評価を実施する。これまでに実施した自動要約実験ではROUGE等の指標を用いて評価していたが、弁護士をはじめとする法律実務の専門家による要約を評価を行うことで、ROUGE指標では明らかになりにくい内容の一貫性や実務シナリオでの有用性を評価する。
|
