• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

登場人物に着目した物語コンテンツの構造化に基づく情報アクセス手法の解明

研究課題

研究課題/領域番号 22K12338
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分62040:エンタテインメントおよびゲーム情報学関連
研究機関関西大学

研究代表者

松下 光範  関西大学, 総合情報学部, 教授 (50396123)

研究分担者 中村 聡史  明治大学, 総合数理学部, 専任教授 (50415858)
山西 良典  関西大学, 総合情報学部, 准教授 (50700522)
西原 陽子  立命館大学, 情報理工学部, 教授 (70512101)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード物語コンテンツ / 意味的構造化 / 物語検索 / コンテンツの数理モデル化
研究開始時の研究の概要

本応募課題では,漫画や絵本など,絵と文字を協調的に利用したコンテンツを対象に,計算機によるコンテンツの内容理解・意味的構造化ならびにそれらに対する人の認知・感性の解析を行う.物語の登場人物に焦点を当て,登場人物の性格や特徴に基づくベクトル表現や,登場人物間の関係性に基づくグラフ表現を用いて物語コンテンツを数理モデル化する.構築したモデルを用いて物語の内容に関わる検索を可能にする演算方法を考案する.

研究実績の概要

本課題では,物語コンテンツを対象とした内容検索を実現するために,物語の登場人物の発話や行動を手がかりとした物語コンテンツの内容理解・意味的構造化と,物語コンテンツの特徴に基づく人の認知・感性の解析を試みている. 2023年度の主な成果は(1)登場人物の作画特徴による検索を可能にする深層学習モデルの提案,(2)物語の時間的構造に着目した登場人物間の関係性可視化手法の実現,である.
(1) 距離学習と生成モデルを組み合わせた深層クラスタリングモデルを提案した.提案手法では,変分オートエンコーダによって画像を再構成するために最適化される潜在空間を Triplet loss によって共同最適化することで作画特徴に基づくクラスタリングと検索を可能にした.実験により,提案手法が未知データやドメインにおいて既存手法よりも強い頑健性を示すことを確認した.また,獲得された特徴量を可視化した結果,人物の描写方法や彩色方法に関する共通点を持つクラスタが得られることが確認された.
(2) 昨年度実現した登場人物の性格特徴と登場人物間の関係性を可視化する手法を拡張し,物語の時間的構造を反映した可視化手法を実現した.物語は,物語内容で経過する時間と,それがテキストとして表出される時間関係が異なり,それによってジャンルの特徴や読み手の感情想起を制御している.この点に着目し,両者を関係づけて操作できる可視化インタフェースを提案した.この手法ではテキストとして表出された時間を操作するスライドバーと物語内容の時間を操作するスライドバーが連動し,一方を操作して関係性の変化や新しい登場人物の出現を眺めつつ,二つの時間の関わりを関連づけて観察できる.ユーザ実験を通じて(a)未知の作品の時間的経過に伴って変化する物語展開の把握に貢献すること,(b)複数の作品の比較において,類似点や相違点の理解に貢献することが確認できた.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

本年度の目標は,2022年度に遂行した研究で得られた知見をもとに(1) 時系列変化に伴う登場人物の変化の表現と活用,(2) 主要登場人物の特徴がユーザの認知に与える効果の検証,(3) 物語中のシーンの分類とその検索手法の検討を行う予定であった.(1)については,物語の時間的構造を反映したンタラクティブなネットワーク表現による可視化手法によって実現された.(2)については,VAEとTripret Lossを組み合わせた評価指標に基づいて視覚的特徴である画風を数理的に表現し,最近傍探索や Art style morphing などの方法によって,任意の画像をクエリとした類似検索を実現し,実験によってそれがユーザの認知に沿った検索結果を与えることや,ある属性に対する条件付き確率を計算することで外見的特徴と内面的特徴の関係を数理的に把握する手法を実現して,ユーザの受ける印象に沿った結果が得られることを確認した.(3)については,ライトノベルのテキストを用いてシーンに頻出する単語とシーン特徴との関連性を明らかにし,日常的なトピックを扱った作品のシーン分類が可能であることを示した.これらの成果により,期首に想定した目的は概ね達成できたと考える.これに加え,(A) 物語全体を短文で表現した文章(コンセプト文)と物語の要約を比較し,別の人によって表出されたコンセプト文がベクトル空間上で近い位置に配置されることを明らかにした,(B) 長期にわたり連載される物語の内容記憶を支援するためにクイズを活用手法を提案した,(C) ユーザの読書興味を引き起こす読書支援インタフェースを試作した,といった研究にも着手し,それぞれ成果を得ている.これは期首に立てた目標を超えた成果であり,このことから,「当初の計画以上に進展している」と判断した.

今後の研究の推進方策

2024年度は,2023年度までに遂行した研究で得られた知見をもとに(1)物語の短文要約を活用した作品検索手法の実現,(2) 複数観点に基づく物語内容の管理とアクセスのための手法の確立,(3)物語に対する読み手の印象の取得とその特徴検証を行い,(4)これらを総括する形で内容に基づく物語検索システムの実現を図る.
(1) 2023年度に着手した物語の短文要約(コンセプト文)の数理モデルを拡張し,類似した作品や特定の特徴を持つ作品を検索するための手法を確立する.これにより,単なるジャンル検索やキーワード検索をこえた,内容に基づく柔軟な作品検索が可能になると期待される.
(2) 物語の検索においては,作品に内在する階層的構造だけでなく,意味的・トピック的な相関に基づく関係構造での検索・把握が必要になる場面がある.こうしたユーザの検索意図の多様性を鑑み,それを検索可能にするためのデータモデルとインタフェースへの展開を図る.これにより,複雑な構造の物語であっても柔軟に企図する内容箇所にアクセスできるようになると期待される.
(3) 物語作品を読み進めていくうえでユーザ間での汎用や感想といった感性的情報を共有できるようにするとともに,その特徴から作品のシーンやコマ,登場人物の行動に関する統計情報を取得し,新たな作品制作の手がかりとなる情報を獲得したり,盛り上がりといった物語内容の特徴・箇所把握を可能にする.
(4)2024年度が最終年度であるため,これまでの成果をまとめ,システムのプロトタイプ作成に繋げる.

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (30件)

すべて 2024 2023 2022

すべて 雑誌論文 (3件) (うち査読あり 3件、 オープンアクセス 2件) 学会発表 (26件) (うち国際学会 7件) 産業財産権 (1件)

  • [雑誌論文] 画風に基づく作品検索に向けた生成モデルと距離学習に基づく深層クラスタリング手法2024

    • 著者名/発表者名
      朴 炳宣,松下 光範
    • 雑誌名

      電子情報通信学会論文誌D 情報・システム

      巻: J107-D 号: 4 ページ: 176-187

    • DOI

      10.14923/transinfj.2023PDP0042

    • ISSN
      1880-4535, 1881-0225
    • 年月日
      2024-04-01
    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] アイデアソンによるアニメーション中間生成物の活用可能性の検討2023

    • 著者名/発表者名
      松下光範, 山西良典
    • 雑誌名

      紀要アートリサーチ

      巻: 23 ページ: 137-143

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 登場人物の出現頻度情報を用いた漫画内容検索支援インタフェース2022

    • 著者名/発表者名
      NISHIHARA Yoko、LEI Kaifeng、YAMANISHI Ryosuke
    • 雑誌名

      知能と情報

      巻: 34 号: 3 ページ: 612-618

    • DOI

      10.3156/jsoft.34.3_612

    • ISSN
      1347-7986, 1881-7203
    • 年月日
      2022-08-15
    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 非構造データセットのリンク関係構築のための アノテーションゲームの試作2024

    • 著者名/発表者名
      小川 莉奈,山西 良典,馬場 保仁,辻野 雄大,松下 光範
    • 学会等名
      情報処理学会研究報告(エンタテインメントコンピューティング)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 台本中の動作表現に基づく アニメーション原画検索システムの提案2024

    • 著者名/発表者名
      藤川 雄翔,杉江 直哉,畑 玲音,松下 光範,山西 良典
    • 学会等名
      情報処理学会研究報告(エンタテインメントコンピューティング)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Dialogue Attributes’ Zero-Shot Classification Based Anime Scene’s Matching for Japanese Listening Test2023

    • 著者名/発表者名
      Junjie Shan, Yangdi Ni, Yoko Nishihara
    • 学会等名
      12th International Symposium on Information and Communication Technology
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 物語の展開にともなう登場人物間の関係性変化の可視化手法2023

    • 著者名/発表者名
      宮川 栞奈,松下 光範,山西 良典
    • 学会等名
      電子情報通信学会HCGシンポジウム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] アニメ作画素材データセットの再構造化のためのアノテーションゲーム2023

    • 著者名/発表者名
      小川 莉奈,山西 良典,馬場 保仁,辻野 雄大,松下 光範
    • 学会等名
      IDRユーザフォーラム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 脚本中の動作表現に基づくアニメ原画クリップの検索2023

    • 著者名/発表者名
      杉江 直哉,藤川 雄翔,松下 光範,山西 良典
    • 学会等名
      IDRユーザフォーラム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Tree構造とMap構造のハイブリッド型LWA資料検索システム2023

    • 著者名/発表者名
      吉良山 陽太, 山西 良典, 田崎 丈太郎, 平尾 七虹, 岡上 加乃, 松下 光範
    • 学会等名
      IDRユーザフォーラム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 物語作品の短文要約によるストーリーの特徴分析2023

    • 著者名/発表者名
      藤川 雄翔,松下 光範,山西 良典
    • 学会等名
      電子情報通信学会第10回コミック工学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] キャラクタのセリフに表れる音変化の傾向の可視化2023

    • 著者名/発表者名
      南出 瞭馬,山西 良典,松下 光範
    • 学会等名
      電子情報通信学会第10回コミック工学研究会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] コミクエ: 漫画の内容のクイズ作成が既読巻の想起に与える影響2023

    • 著者名/発表者名
      田中 佑芽, 関口 祐豊, 櫻井 翼, 小松原 達哉, 中村 聡史
    • 学会等名
      情報処理学会研究報告(ヒューマンコンピュータインタラクション)
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Do Appearances Represent Personality of Created Characters?2023

    • 著者名/発表者名
      Fuka Nakashima, Naoki Fujimoto, Ryosuke Yamanishi
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Estimating Story-events of Comics Based on Characteristic Words2023

    • 著者名/発表者名
      Taketo Fujikawa, Mitsunori Matsushita
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Sentiment Analysis of User Reviews Transition in Multimedia Franchise2023

    • 著者名/発表者名
      Yuna Fujii, Junjie Shan, Yihong Han, and Yoko Nishihara
    • 学会等名
      27th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 登場人物関係の可視化による小説の出来事の想起支援2023

    • 著者名/発表者名
      藤島光佑,西原陽子,SHAN Junjie
    • 学会等名
      第22回情報科学技術フォーラム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] ユーザの読書興味を引き起こす読書支援インタフェース2023

    • 著者名/発表者名
      遠山弘也,西原陽子,SHAN Junjie
    • 学会等名
      第22回情報科学技術フォーラム
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] イラストの眼におけるハイライトの適性位置への配置2023

    • 著者名/発表者名
      濱﨑 日菜子,山西 良典,仲田 晋
    • 学会等名
      ECシンポジウム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 画像生成AIによるアニメキャラクター画像の実写化と顔角度推定2023

    • 著者名/発表者名
      枡井 暢久,石川 颯志,山西 良典,仲田 晋
    • 学会等名
      ECシンポジウム2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Kokogatari:実環境を介したリレー小説執筆ツール2023

    • 著者名/発表者名
      堤悠太, 安尾萌, 松下光範
    • 学会等名
      情報処理学会研究報告ヒューマンコンピュータインタラクション
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 漫画のストーリーラインに関する類似度評価手法の一検討2023

    • 著者名/発表者名
      NI YANGDI,SHAN JunJie,韓毅弘,西原陽子
    • 学会等名
      電子情報通信学会第9回コミック工学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ファンサイト上のキャラクタの外見属性と内面属性の関係性の基礎分析2023

    • 著者名/発表者名
      中島楓華,藤本直樹,横井優,西明和樹,山西良典
    • 学会等名
      電子情報通信学会第9回コミック工学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] イベント特徴語に基づくコミックのイベント推定2023

    • 著者名/発表者名
      藤川雄翔, 松下光範
    • 学会等名
      電子情報通信学会第9回コミック工学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Comic Contents Retrieval Support Interface using Speech Frequencies of Characters2022

    • 著者名/発表者名
      Kaifeng Lei, Yoko Nishihara, Ryosuke Yamanishi
    • 学会等名
      24th International Conference on Human-Computer Interaction
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] Analyzing Textual Sources Attributes of Comics Based on Word Frequency and Meaning2022

    • 著者名/発表者名
      Ryota Higuchi, Ryosuke Yamanishi, Mitsunori Matsushita
    • 学会等名
      International workshop on comics analysis, processing and understanding
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 作品の展開メディアに対応したレビューの分類手法2022

    • 著者名/発表者名
      藤居優奈,韓毅弘,Junjie Shan,西原陽子,山西良典
    • 学会等名
      電子情報通信学会第8回コミック工学研究会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Interactive visualization of comic character correlation diagrams for understanding character relationships and personalities2022

    • 著者名/発表者名
      Kanna Miyagawa, Yutaka Morino, Mitsunori Matsushita
    • 学会等名
      the 24th International Conference on Information Integration and Web Intelligence
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] コミックにおける読者依存性の高い地雷表現回避手法の実現2022

    • 著者名/発表者名
      伊藤理紗, 中村聡史
    • 学会等名
      情報処理学会研究報告ヒューマンコンピュータインタラクション
    • 関連する報告書
      2022 実施状況報告書
  • [産業財産権] 表示方法、及び、表示システム2022

    • 発明者名
      西原陽子,山西良典
    • 権利者名
      西原陽子,山西良典
    • 産業財産権種類
      特許
    • 産業財産権番号
      2022-114675
    • 出願年月日
      2022
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi