| Project/Area Number |
22K12338
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Kansai University |
|---|
Principal Investigator |
松下 光範 関西大学, 総合情報学部, 教授 (50396123)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中村 聡史 明治大学, 総合数理学部, 専任教授 (50415858)
山西 良典 関西大学, 総合情報学部, 准教授 (50700522)
西原 陽子 立命館大学, 情報理工学部, 教授 (70512101)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 物語コンテンツ / 意味的構造化 / 物語検索 / コンテンツの数理モデル化 |
|---|
| Outline of Research at the Start |
本応募課題では，漫画や絵本など，絵と文字を協調的に利用したコンテンツを対象に，計算機によるコンテンツの内容理解・意味的構造化ならびにそれらに対する人の認知・感性の解析を行う．物語の登場人物に焦点を当て，登場人物の性格や特徴に基づくベクトル表現や，登場人物間の関係性に基づくグラフ表現を用いて物語コンテンツを数理モデル化する．構築したモデルを用いて物語の内容に関わる検索を可能にする演算方法を考案する．
|
| Outline of Annual Research Achievements |
本課題では，物語コンテンツを対象とした内容検索を実現するために，物語の登場人物の発話や行動を手がかりとした物語コンテンツの内容理解・意味的構造化と，物語コンテンツの特徴に基づく人の認知・感性の解析を試みている. 2023年度の主な成果は(1)登場人物の作画特徴による検索を可能にする深層学習モデルの提案，(2)物語の時間的構造に着目した登場人物間の関係性可視化手法の実現，である．
(1) 距離学習と生成モデルを組み合わせた深層クラスタリングモデルを提案した．提案手法では，変分オートエンコーダによって画像を再構成するために最適化される潜在空間を Triplet loss によって共同最適化することで作画特徴に基づくクラスタリングと検索を可能にした．実験により，提案手法が未知データやドメインにおいて既存手法よりも強い頑健性を示すことを確認した．また，獲得された特徴量を可視化した結果，人物の描写方法や彩色方法に関する共通点を持つクラスタが得られることが確認された．
(2) 昨年度実現した登場人物の性格特徴と登場人物間の関係性を可視化する手法を拡張し，物語の時間的構造を反映した可視化手法を実現した．物語は，物語内容で経過する時間と，それがテキストとして表出される時間関係が異なり，それによってジャンルの特徴や読み手の感情想起を制御している．この点に着目し，両者を関係づけて操作できる可視化インタフェースを提案した．この手法ではテキストとして表出された時間を操作するスライドバーと物語内容の時間を操作するスライドバーが連動し，一方を操作して関係性の変化や新しい登場人物の出現を眺めつつ，二つの時間の関わりを関連づけて観察できる．ユーザ実験を通じて(a)未知の作品の時間的経過に伴って変化する物語展開の把握に貢献すること，(b)複数の作品の比較において，類似点や相違点の理解に貢献することが確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
本年度の目標は，2022年度に遂行した研究で得られた知見をもとに(1) 時系列変化に伴う登場人物の変化の表現と活用，(２) 主要登場人物の特徴がユーザの認知に与える効果の検証，(３) 物語中のシーンの分類とその検索手法の検討を行う予定であった．（１）については，物語の時間的構造を反映したンタラクティブなネットワーク表現による可視化手法によって実現された．（２）については，VAEとTripret Lossを組み合わせた評価指標に基づいて視覚的特徴である画風を数理的に表現し，最近傍探索や Art style morphing などの方法によって，任意の画像をクエリとした類似検索を実現し，実験によってそれがユーザの認知に沿った検索結果を与えることや，ある属性に対する条件付き確率を計算することで外見的特徴と内面的特徴の関係を数理的に把握する手法を実現して，ユーザの受ける印象に沿った結果が得られることを確認した．（３）については，ライトノベルのテキストを用いてシーンに頻出する単語とシーン特徴との関連性を明らかにし，日常的なトピックを扱った作品のシーン分類が可能であることを示した．これらの成果により，期首に想定した目的は概ね達成できたと考える．これに加え，(A) 物語全体を短文で表現した文章（コンセプト文）と物語の要約を比較し，別の人によって表出されたコンセプト文がベクトル空間上で近い位置に配置されることを明らかにした，(B) 長期にわたり連載される物語の内容記憶を支援するためにクイズを活用手法を提案した，(C) ユーザの読書興味を引き起こす読書支援インタフェースを試作した，といった研究にも着手し，それぞれ成果を得ている．これは期首に立てた目標を超えた成果であり，このことから，「当初の計画以上に進展している」と判断した．
|
| Strategy for Future Research Activity |
2024年度は，2023年度までに遂行した研究で得られた知見をもとに(1)物語の短文要約を活用した作品検索手法の実現，(2) 複数観点に基づく物語内容の管理とアクセスのための手法の確立，(3)物語に対する読み手の印象の取得とその特徴検証を行い，（４）これらを総括する形で内容に基づく物語検索システムの実現を図る．
(1) 2023年度に着手した物語の短文要約（コンセプト文）の数理モデルを拡張し，類似した作品や特定の特徴を持つ作品を検索するための手法を確立する．これにより，単なるジャンル検索やキーワード検索をこえた，内容に基づく柔軟な作品検索が可能になると期待される.
(2) 物語の検索においては，作品に内在する階層的構造だけでなく，意味的・トピック的な相関に基づく関係構造での検索・把握が必要になる場面がある．こうしたユーザの検索意図の多様性を鑑み，それを検索可能にするためのデータモデルとインタフェースへの展開を図る．これにより，複雑な構造の物語であっても柔軟に企図する内容箇所にアクセスできるようになると期待される．
(3) 物語作品を読み進めていくうえでユーザ間での汎用や感想といった感性的情報を共有できるようにするとともに，その特徴から作品のシーンやコマ，登場人物の行動に関する統計情報を取得し，新たな作品制作の手がかりとなる情報を獲得したり，盛り上がりといった物語内容の特徴・箇所把握を可能にする．
（４）２０２４年度が最終年度であるため，これまでの成果をまとめ，システムのプロトタイプ作成に繋げる．
|
