| 研究概要 |
本年度の研究では,テキスト集合から意見を集約した要約の生成における,文書の意見性(文書ジャンル),文タイプの意見性,意見句,意見保有者,意見の極性,強度などの意見属性の効果について調べた.実験では,DUC2006の英語の要約データセットから意見に関わる15トピックを選択し,評価指標として自動評価ツールであるROUGE、BEを用いた.まず,提案手法の理論的上限値を調べるために,人手で文書集合に,文タイプの意見性,ならびに,意見保有句,意見の強さなどの文より小さいレベルでの意見属性を付与した.文書ジャンルはNISTによって提供されたものを利用した.また,システムの実現可能性を調査するために,文タイプの意見性ならびに意見の強さについて自動付与を行った.その結果,日本語要約の先行研究と同様に,英語の要約でも文タイプと意見性と文書ジャンルの情報を要約のパラメタとして組み合わせることで,条件によっては精度の向上があることが明らかになった.
また,主観的な情報要求の中でも,より挑戦的な研究として,日本語のWebニュース記事を対象とし,5つの手がかりを用いて信頼度を判定する手法を提案した.5つの手がかりは(1)推測表現を考慮した記事の客観性,(2)記事の長さを考慮した情報の量から推定した記事の詳細さ,(3)複数のニュース配信社間の記事の内容の共通性,(4)記事内で報道された数量表現の一致と矛盾,(5)記事中に書かれた情報源の有無である.しかし,信頼性に対する人間の被験者の評価はゆれる傾向がある.本稿では,6つのニュースサイトから記事を収集し,この問題に対処するための2つの実験を行った.(A)最初の実験では,"記事のペアの信頼性を比較する"という形で被験者の判定についての負担を軽減することで,被験者間のゆれを抑えた.56のニュース記事を28のペアとし,どちらが信頼できるかをシステムが判定した結果と,被験者4名が判定した結果を比較したところ,一致率は64.3%であった.(B)2番目の実験では,"信頼できる","信頼できない","どちらかわからない"という3段階の評価について,(a)被験者間のゆれを抑えるためにそれぞれの判定に対する明確な定義を与え,(b)被験者ごとに各段階の判定の相対量が変わることを考慮し,3段階の判定の閾値を被験者ごとに調整することにより,被験者間のゆれの問題に対処した.信頼性の定義は,"信頼性とは,ある主体にとって,ある情報に含まれている内容が真実であるか,どれくらい正確であるという信念を形成するのに利用されるさまざまな特性のこと"として与えた.123のニュース記事について,3段階の信頼度を設定し,システムが判定した結果と,被験者3名が判定した結果を比較したところ,一致率は62.5%であった.(B)の結果については,乱数に基づき信頼性を判定した結果との比較も行った.この場合の平均一致率は,33.6%となり,t-検定を用いて有意差検定を行ったところ,ほぼすべて(300通りのうち299通り)の結果について,1%の有意水準で有意差があることを確認した.
|
