| 研究概要 |
言語表現を動画に変換するために,画像のどのような点が言語として陽に表現され,どのような点が言語として表現されないかを明かにし,分析に基づいて言語表現から動画像を得る手法を明らかにする研究を進めた.具体的な対象として,料理レシピの文章からCGによる動画を得ることを対象に取り上げ,前期に引続き言語表現と画像との対応の分析を進め,実験システムの設計と構築を進めた.
言語表現と画像との関連付けの分析に関しては,料理レシピにおける要素を大きく料理動作,材料,道具,調理場と分けて分析を進めた.料理動作は,材料や道具を用いた動作自体と料理の状態を示す動作とに分けられると分析し,これに基づいて,二つの動作表現が連用接続されるとき,それぞれの動作表現が画像表現とどのように対応するかを分析し,動作が順の場合,動作の時間に重なりがある場合など,4種類の分類を得た.個々の料理動作は,格構造により捉え,どのような要素により動作が規定されるか分析を進めた.料理レシピの画像化に際しては,調理場所,動作の継続時間,終了時点,補足動作などを明かにする必要があると分析し,実際のレシピ文章では,これらは陽に表現されるとは限らないために,どのような情報を事前に与えておいたり規則により導いたりする必要があるか分析した.
実験システムに関しては,料理レシピ文章を動画に変換するシステムの設計と構築を進めた.システムは言語解析部と動画生成部とからなる.言語解析部は料理レシピ文章を解析して中間表現を求め,動画生成部は中間表現から動画フレームを生成して動画を表示する.中間表現では,料理は複数の料理手順から構成され,料理手順は複数の料理動作から構成され,料理動作は格構造により表現される.
|
