2023 Fiscal Year Annual Research Report
Project/Area Number |
21H03505
|
Research Institution | NTT Communication Science Laboratories |
Principal Investigator |
平尾 努 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (40396148)
|
Co-Investigator(Kenkyū-buntansha) |
木村 昭悟 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主幹研究員 (10396202)
奥村 学 東京工業大学, 科学技術創成研究院, 教授 (60214079)
|
Project Period (FY) |
2021-04-01 – 2024-03-31
|
Keywords | 自然言語処理 / 談話構造解析 / マルチモーダル要約 |
Outline of Annual Research Achievements |
動画談話構造解析を利用する下流タスクとしてマルチモーダル要約を想定し,昨年度までに作成したデータセットのソースとなる動画に対しテキスト要約とキーフーレム抽出による要約を与えたデータセットを作成した.そして,作成した要約と動画談話構造の関係を分析した.まず,イベント間の直接の依存関係をあらわす談話依存構造木とキーフレームとして抽出されたフレームが属するイベントの間の関係を調べた.その結果,談話依存構造木のルートにあたるイベントの7-8割が人間の要約に含まれることがわかった.また,イベント間の依存関係も7割程度含まれることもわかった.これらの結果は人間が動画を要約する際,その背後にあるイベント間の関係を考慮していることを示唆する.
さらに,作業者の間の要約一致を調べるため,抽出したフレームの一致をその起源となるイベントの一致率で評価したところ,7割弱が一致しており,テキスト要約の間の一致をユニグラム一致に基づくROUGE-1で比較したところ0.5弱であった.双方とも高い一致を示しており信頼性の高いデータセットであることを確認した.
また,テキストを対象とした修辞構造解析に関してLLMを用いてシフト還元解析を模倣する手法を考案した.スタックとキューの中身をテキストとして表現し,それを用いたプロンプトで解析アクションを推定する.複数のベンチマークで評価した結果,従来法よりも大幅に高い解析性能であることを確認した.
|
Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|