Argumentative structure based summarization for Japanese judgment documents

Research Project

Project/Area Number	20J14385
Research Category	Grant-in-Aid for JSPS Fellows
Allocation Type	Single-year Grants
Section	国内
Review Section	Basic Section 90020:Library and information science, humanistic and social informatics-related
Research Institution	Tokyo Institute of Technology
Principal Investigator	山田寛章東京工業大学, 情報理工学院, 特別研究員(PD)
Project Period (FY)	2020-04-24 – 2022-03-31
Project Status	Completed (Fiscal Year 2021)
Budget Amount *help	¥2,300,000 (Direct Cost: ¥2,300,000) Fiscal Year 2021: ¥1,100,000 (Direct Cost: ¥1,100,000) Fiscal Year 2020: ¥1,200,000 (Direct Cost: ¥1,200,000)
Keywords	自然言語処理 / 自動要約 / 議論マイニング / 計算言語学 / 法情報学 / 機械学習 / 議論構造 / 法律情報処理 / 談話構造
Outline of Research at the Start	本研究は重要な法的文書である判決書の調査や検索の効率化と省力化を目指し，計算機による判決書の自動要約を試みる．判決書は数十ページに及ぶこともあり長く複雑な文が使われるため，専門家でも分析に時間を要する．そのため計算機による判決書の検索や要約は重大な意義を持つ．本研究では，判決書の議論構造を抽出し，その結果を利用して要約することで，元文書との内容整合性を担保できる自動要約器の構築を目指す．判決書からの議論構造抽出手法の開発，抽出した議論構造を利用した要約器の開発，及び要約器の人手による実証的評価を行うこと，が主な課題である．
Outline of Annual Research Achievements	当初計画では本年度に実施する予定であった議論構造を利用した要約生成の実験が昨年度中に実施完了したため、本年度では要約生成結果の専門家による人手評価、及び本課題で得られた知見を元にした発展的な研究課題の検討を行った。要約の人手評価では、法律の専門家3人に依頼して要約内容の主観的な評価を実施した。評価内容としては、判決書の要約として網羅されているべきトピックが要約中に存在するか、及び要約内容に含めるべきでない主張や判断が混入していないか、の2つの観点からそれぞれ5段階評価で採点するものであった。採点による評価結果としては、議論構造を活用した要約手法と議論構造を利用しない要約手法の間に有意な差は確認できなかった。評価者からのコメントによれば、議論構造利用による要約結果では、裁判所に斥けられた主張を要約から適切に除外できている例があるものの、必要な内容を十分網羅できていない例が複数報告されている。本研究課題では、議論構造抽出について重点的に研究を実施してきたため、議論構造を利用した要約内容選択の精度には依然として向上の余地があり、今後の課題である。また、本研究課題で培った知見を活かして、機械学習を用いた判決予測システム開発の予備的検討を行った。特に、本研究課題で得られた判決書に対するアノテーションスキーム開発ノウハウは、判決予測システムのための学習・評価用データセット構築において非常に有用であった。今後実施予定の機械学習を用いた判決予測実験においても、議論構造抽出の技術が活用される見込みであり、今後の発展に期待できる。
Research Progress Status	令和3年度が最終年度であるため、記入しない。
Strategy for Future Research Activity	令和3年度が最終年度であるため、記入しない。