2023 Fiscal Year Annual Research Report
| Project/Area Number |
21H03505
|
|---|
| Research Institution | NTT Communication Science Laboratories |
|---|
Principal Investigator |
平尾 努 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (40396148)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
木村 昭悟 日本電信電話株式会社NTTコミュニケーション科学基礎研究所, メディア情報研究部, 主幹研究員 (10396202)
奥村 学 東京工業大学, 科学技術創成研究院, 教授 (60214079)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 自然言語処理 / 談話構造解析 / マルチモーダル要約 |
|---|
| Outline of Annual Research Achievements |
動画談話構造解析を利用する下流タスクとしてマルチモーダル要約を想定し，昨年度までに作成したデータセットのソースとなる動画に対しテキスト要約とキーフーレム抽出による要約を与えたデータセットを作成した．そして，作成した要約と動画談話構造の関係を分析した．まず，イベント間の直接の依存関係をあらわす談話依存構造木とキーフレームとして抽出されたフレームが属するイベントの間の関係を調べた．その結果，談話依存構造木のルートにあたるイベントの７-8割が人間の要約に含まれることがわかった．また，イベント間の依存関係も7割程度含まれることもわかった．これらの結果は人間が動画を要約する際，その背後にあるイベント間の関係を考慮していることを示唆する．
さらに，作業者の間の要約一致を調べるため，抽出したフレームの一致をその起源となるイベントの一致率で評価したところ，7割弱が一致しており，テキスト要約の間の一致をユニグラム一致に基づくROUGE-1で比較したところ0.5弱であった．双方とも高い一致を示しており信頼性の高いデータセットであることを確認した．
また，テキストを対象とした修辞構造解析に関してLLMを用いてシフト還元解析を模倣する手法を考案した．スタックとキューの中身をテキストとして表現し，それを用いたプロンプトで解析アクションを推定する．複数のベンチマークで評価した結果，従来法よりも大幅に高い解析性能であることを確認した．
|
| Research Progress Status |
令和5年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和5年度が最終年度であるため、記入しない。
|
