• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

登場人物に着目した物語コンテンツの構造化に基づく情報アクセス手法の解明

研究課題

研究課題/領域番号 22K12338
研究機関関西大学

研究代表者

松下 光範  関西大学, 総合情報学部, 教授 (50396123)

研究分担者 中村 聡史  明治大学, 総合数理学部, 専任教授 (50415858)
山西 良典  関西大学, 総合情報学部, 准教授 (50700522)
西原 陽子  立命館大学, 情報理工学部, 教授 (70512101)
研究期間 (年度) 2022-04-01 – 2025-03-31
キーワード物語コンテンツ / 意味的構造化 / 物語検索 / コンテンツの数理モデル化
研究実績の概要

本課題では,物語コンテンツを対象とした内容検索を実現するために,物語の登場人物の発話や行動を手がかりとした物語コンテンツの内容理解・意味的構造化と,物語コンテンツの特徴に基づく人の認知・感性の解析を試みている. 2023年度の主な成果は(1)登場人物の作画特徴による検索を可能にする深層学習モデルの提案,(2)物語の時間的構造に着目した登場人物間の関係性可視化手法の実現,である.
(1) 距離学習と生成モデルを組み合わせた深層クラスタリングモデルを提案した.提案手法では,変分オートエンコーダによって画像を再構成するために最適化される潜在空間を Triplet loss によって共同最適化することで作画特徴に基づくクラスタリングと検索を可能にした.実験により,提案手法が未知データやドメインにおいて既存手法よりも強い頑健性を示すことを確認した.また,獲得された特徴量を可視化した結果,人物の描写方法や彩色方法に関する共通点を持つクラスタが得られることが確認された.
(2) 昨年度実現した登場人物の性格特徴と登場人物間の関係性を可視化する手法を拡張し,物語の時間的構造を反映した可視化手法を実現した.物語は,物語内容で経過する時間と,それがテキストとして表出される時間関係が異なり,それによってジャンルの特徴や読み手の感情想起を制御している.この点に着目し,両者を関係づけて操作できる可視化インタフェースを提案した.この手法ではテキストとして表出された時間を操作するスライドバーと物語内容の時間を操作するスライドバーが連動し,一方を操作して関係性の変化や新しい登場人物の出現を眺めつつ,二つの時間の関わりを関連づけて観察できる.ユーザ実験を通じて(a)未知の作品の時間的経過に伴って変化する物語展開の把握に貢献すること,(b)複数の作品の比較において,類似点や相違点の理解に貢献することが確認できた.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本年度の目標は,2022年度に遂行した研究で得られた知見をもとに(1) 時系列変化に伴う登場人物の変化の表現と活用,(2) 主要登場人物の特徴がユーザの認知に与える効果の検証,(3) 物語中のシーンの分類とその検索手法の検討を行う予定であった.(1)については,物語の時間的構造を反映したンタラクティブなネットワーク表現による可視化手法によって実現された.(2)については,VAEとTripret Lossを組み合わせた評価指標に基づいて視覚的特徴である画風を数理的に表現し,最近傍探索や Art style morphing などの方法によって,任意の画像をクエリとした類似検索を実現し,実験によってそれがユーザの認知に沿った検索結果を与えることや,ある属性に対する条件付き確率を計算することで外見的特徴と内面的特徴の関係を数理的に把握する手法を実現して,ユーザの受ける印象に沿った結果が得られることを確認した.(3)については,ライトノベルのテキストを用いてシーンに頻出する単語とシーン特徴との関連性を明らかにし,日常的なトピックを扱った作品のシーン分類が可能であることを示した.これらの成果により,期首に想定した目的は概ね達成できたと考える.これに加え,(A) 物語全体を短文で表現した文章(コンセプト文)と物語の要約を比較し,別の人によって表出されたコンセプト文がベクトル空間上で近い位置に配置されることを明らかにした,(B) 長期にわたり連載される物語の内容記憶を支援するためにクイズを活用手法を提案した,(C) ユーザの読書興味を引き起こす読書支援インタフェースを試作した,といった研究にも着手し,それぞれ成果を得ている.これは期首に立てた目標を超えた成果であり,このことから,「当初の計画以上に進展している」と判断した.

今後の研究の推進方策

2024年度は,2023年度までに遂行した研究で得られた知見をもとに(1)物語の短文要約を活用した作品検索手法の実現,(2) 複数観点に基づく物語内容の管理とアクセスのための手法の確立,(3)物語に対する読み手の印象の取得とその特徴検証を行い,(4)これらを総括する形で内容に基づく物語検索システムの実現を図る.
(1) 2023年度に着手した物語の短文要約(コンセプト文)の数理モデルを拡張し,類似した作品や特定の特徴を持つ作品を検索するための手法を確立する.これにより,単なるジャンル検索やキーワード検索をこえた,内容に基づく柔軟な作品検索が可能になると期待される.
(2) 物語の検索においては,作品に内在する階層的構造だけでなく,意味的・トピック的な相関に基づく関係構造での検索・把握が必要になる場面がある.こうしたユーザの検索意図の多様性を鑑み,それを検索可能にするためのデータモデルとインタフェースへの展開を図る.これにより,複雑な構造の物語であっても柔軟に企図する内容箇所にアクセスできるようになると期待される.
(3) 物語作品を読み進めていくうえでユーザ間での汎用や感想といった感性的情報を共有できるようにするとともに,その特徴から作品のシーンやコマ,登場人物の行動に関する統計情報を取得し,新たな作品制作の手がかりとなる情報を獲得したり,盛り上がりといった物語内容の特徴・箇所把握を可能にする.
(4)2024年度が最終年度であるため,これまでの成果をまとめ,システムのプロトタイプ作成に繋げる.

次年度使用額が生じた理由

円安による渡航費・参加費高騰により出張を1件取りやめたこと,支出総額の観点から論文投稿料を学内予算で支出したことなどにより,結果として予算の一部が未使用となった.次年度に繰り越した助成金は,成果の対外発表をより充実させるため,国際会議の発表費・旅費に充てる.

  • 研究成果

    (18件)

すべて 2024 2023

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (17件) (うち国際学会 4件)

  • [雑誌論文] 画風に基づく作品検索に向けた生成モデルと距離学習に基づく深層クラスタリング手法2024

    • 著者名/発表者名
      朴 炳宣,松下 光範
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J107-D ページ: 176-187

    • DOI

      10.14923/transinfj.2023PDP0042

    • 査読あり
  • [学会発表] 非構造データセットのリンク関係構築のための アノテーションゲームの試作2024

    • 著者名/発表者名
      小川 莉奈,山西 良典,馬場 保仁,辻野 雄大,松下 光範
    • 学会等名
      情報処理学会研究報告(エンタテインメントコンピューティング)
  • [学会発表] 台本中の動作表現に基づく アニメーション原画検索システムの提案2024

    • 著者名/発表者名
      藤川 雄翔,杉江 直哉,畑 玲音,松下 光範,山西 良典
    • 学会等名
      情報処理学会研究報告(エンタテインメントコンピューティング)
  • [学会発表] Dialogue Attributes’ Zero-Shot Classification Based Anime Scene’s Matching for Japanese Listening Test2023

    • 著者名/発表者名
      Junjie Shan, Yangdi Ni, Yoko Nishihara
    • 学会等名
      12th International Symposium on Information and Communication Technology
    • 国際学会
  • [学会発表] 物語の展開にともなう登場人物間の関係性変化の可視化手法2023

    • 著者名/発表者名
      宮川 栞奈,松下 光範,山西 良典
    • 学会等名
      電子情報通信学会HCGシンポジウム2023
  • [学会発表] アニメ作画素材データセットの再構造化のためのアノテーションゲーム2023

    • 著者名/発表者名
      小川 莉奈,山西 良典,馬場 保仁,辻野 雄大,松下 光範
    • 学会等名
      IDRユーザフォーラム2023
  • [学会発表] 脚本中の動作表現に基づくアニメ原画クリップの検索2023

    • 著者名/発表者名
      杉江 直哉,藤川 雄翔,松下 光範,山西 良典
    • 学会等名
      IDRユーザフォーラム2023
  • [学会発表] Tree構造とMap構造のハイブリッド型LWA資料検索システム2023

    • 著者名/発表者名
      吉良山 陽太, 山西 良典, 田崎 丈太郎, 平尾 七虹, 岡上 加乃, 松下 光範
    • 学会等名
      IDRユーザフォーラム2023
  • [学会発表] 物語作品の短文要約によるストーリーの特徴分析2023

    • 著者名/発表者名
      藤川 雄翔,松下 光範,山西 良典
    • 学会等名
      電子情報通信学会第10回コミック工学研究会
  • [学会発表] キャラクタのセリフに表れる音変化の傾向の可視化2023

    • 著者名/発表者名
      南出 瞭馬,山西 良典,松下 光範
    • 学会等名
      電子情報通信学会第10回コミック工学研究会
  • [学会発表] コミクエ: 漫画の内容のクイズ作成が既読巻の想起に与える影響2023

    • 著者名/発表者名
      田中 佑芽, 関口 祐豊, 櫻井 翼, 小松原 達哉, 中村 聡史
    • 学会等名
      情報処理学会研究報告(ヒューマンコンピュータインタラクション)
  • [学会発表] Do Appearances Represent Personality of Created Characters?2023

    • 著者名/発表者名
      Fuka Nakashima, Naoki Fujimoto, Ryosuke Yamanishi
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 国際学会
  • [学会発表] Estimating Story-events of Comics Based on Characteristic Words2023

    • 著者名/発表者名
      Taketo Fujikawa, Mitsunori Matsushita
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 国際学会
  • [学会発表] Sentiment Analysis of User Reviews Transition in Multimedia Franchise2023

    • 著者名/発表者名
      Yuna Fujii, Junjie Shan, Yihong Han, and Yoko Nishihara
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 国際学会
  • [学会発表] 登場人物関係の可視化による小説の出来事の想起支援2023

    • 著者名/発表者名
      藤島光佑,西原陽子,SHAN Junjie
    • 学会等名
      第22回情報科学技術フォーラム
  • [学会発表] ユーザの読書興味を引き起こす読書支援インタフェース2023

    • 著者名/発表者名
      遠山弘也,西原陽子,SHAN Junjie
    • 学会等名
      第22回情報科学技術フォーラム
  • [学会発表] イラストの眼におけるハイライトの適性位置への配置2023

    • 著者名/発表者名
      濱﨑 日菜子,山西 良典,仲田 晋
    • 学会等名
      ECシンポジウム2023
  • [学会発表] 画像生成AIによるアニメキャラクター画像の実写化と顔角度推定2023

    • 著者名/発表者名
      枡井 暢久,石川 颯志,山西 良典,仲田 晋
    • 学会等名
      ECシンポジウム2023

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi