|
当初計画では本年度に実施する予定であった議論構造を利用した要約生成の実験が昨年度中に実施完了したため、本年度では要約生成結果の専門家による人手評価、及び本課題で得られた知見を元にした発展的な研究課題の検討を行った。
要約の人手評価では、法律の専門家3人に依頼して要約内容の主観的な評価を実施した。評価内容としては、判決書の要約として網羅されているべきトピックが要約中に存在するか、及び要約内容に含めるべきでない主張や判断が混入していないか、の2つの観点からそれぞれ5段階評価で採点するものであった。採点による評価結果としては、議論構造を活用した要約手法と議論構造を利用しない要約手法の間に有意な差は確認できなかった。評価者からのコメントによれば、議論構造利用による要約結果では、裁判所に斥けられた主張を要約から適切に除外できている例があるものの、必要な内容を十分網羅できていない例が複数報告されている。本研究課題では、議論構造抽出について重点的に研究を実施してきたため、議論構造を利用した要約内容選択の精度には依然として向上の余地があり、今後の課題である。
また、本研究課題で培った知見を活かして、機械学習を用いた判決予測システム開発の予備的検討を行った。特に、本研究課題で得られた判決書に対するアノテーションスキーム開発ノウハウは、判決予測システムのための学習・評価用データセット構築において非常に有用であった。今後実施予定の機械学習を用いた判決予測実験においても、議論構造抽出の技術が活用される見込みであり、今後の発展に期待できる。
|
