4コマ漫画シーン理解のための文脈情報に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 14658100
• Research Institution: Nagoya University
• Principal Investigator: 渡辺 豊英 名古屋大学, 大学院・工学研究科, 教授 (80093342)
• Co-Investigator(Kenkyū-buntansha): 朝倉 宏一 名古屋大学, 大学院・工学研究科, 助手 (80273283) ; 加藤 ジェーン 名古屋大学, 大学院・工学研究科, 助教授 (70251882)
• Keywords: 4コマ漫画 / ストーリ展開 / 人物像認識 / 展開パターン / 言語と画像の理解 / ヒューマン・インタフェース / 文脈情報 / 動作情報抽出

Research Abstract

4コマ漫画シーン理解の直接的な研究目的は4つの連続したコマ漫画を通して、主題の展開(または物語)を理解することである。4コマ漫画は手書きで描かれ、絵情報と言語情報を直接的な表現メディアとして、作者の描写法によって主題が展開されている。もちろん、「落ち」は主題から直接導出できるとは限らないという複雑な対象である。このような4コマ漫画に対して、我々は今年度二つの視点で対処した。一つは直接4コマ漫画を分析し、特徴を抽出することであり、もう一つは4コマ漫画ではないが、ビデオ・ストリームに表れる会話文の系列における文脈(話の展開構造)を抽出・表現することである。
4コマ漫画の分析、特徴抽出では人物域の同定、台詞域の抽出、台詞を中心としたストーリ展開について実施した。人物域の同定では「文字域には縦線分が多い」という経験的知識を用いて文字域を分離することにより実験した。一見、根拠が乏しい仮説ではあるが、かなり良好な結果を得た。一方、台詞域の抽出では文字域を最初に分離し、それを取り囲む閉曲線があることを線分追跡して抽出した。しかし、台詞域の境界が閉曲線となっていないこと、他の漫画成分と重なりあったり、省略されていることなど、閉曲線の抽出は困難な作業となっている。次に、この台詞情報(コマに台詞が付帯しているか否か)を用いてコマ間の展開構造を分析し、ストーリ展開を分類した。もちろん、このような単純な発想では十分に抽出できないが、ストーリ展開の大分類として、処理が簡単な割には強力に活用可能であった。
一方、4コマ漫画ではないが、ビデオ・ストリームの会話系列を分析することにより話題の展開表現としてどのようなことが設定できるか、話題の展開における文脈情報の役割は何かなどについて検討した。展開表現法の一つとして、IBISモデルを用いて会話文の属性とその間の関係を表現し、コミュニケーション構造木を構成した。また、それに基づいて文脈を定義し、文脈(話題展開)に則した会話木の抽出について検討した。

Research Products

• [Publications] Toyohide Watanabe: "Analysis of Story Structure in Four-frames Comics"Proc. of VSMM2002. 800-808 (2002)
• [Publications] T.Wakazono, T.Ushiama, T.Watanabe: "Interest-based Structurization of Video Messages in Asynchronous Video Communication"Proc. of VSMM2002. 506-512 (2002)
• [Publications] 若園智美, 牛尼剛聡, 渡辺豊英: "非同期対話環境におけるビデオ・メッセージの構造化とブラウジング"2002年度電気関係学会東海支部連合大会論文集. 234 (2002)