2017 Fiscal Year Research-status Report

セルアニメーションにおける顔振り動作の描画に関する分析とモデル化

Research Project

Project/Area Number	15K12126
Research Institution	Tokyo Institute of Technology
Principal Investigator	齋藤豪東京工業大学, 大学院情報理工学研究科, 准教授 (00323832)
Project Period (FY)	2015-04-01 – 2019-03-31
Keywords	顔描画 / 手描きアニメーション / 描画分析
Outline of Annual Research Achievements	日本の商業アニメーションは、半世紀に渡って独特な描画技法を発達させてきた。この描画技法は観ているものには特段の違和感がないものの、三次元的な幾何形状を仮定した場合、大きな歪みを含んでいるという高度に記号化された優れた表現法であると言える。本研究では特に顔の動きに着目し、どのような変形描画が多用されているかについて実際のアニメーションを収集し分析を行っている。平成27年度までは、一作品の一人物の振り向き描写を収集してそれらと3次元コンピュータグラフィクスによる動画像と比較し、手描きのアニメーションと3次元コンピュータグラフィクスで作成されたアニメーションでは振り向き時の顔の特徴点の軌跡間の類似性の傾向に差異があるということを客観的に明らかにした。平成28年度からは、一つの放映作品で描かれている様々な登場人物の顔を対象として顔の方角知覚についての分析を行った。これは、一連続の振り向き動画を構成する画像枚数が少ないため、動きの直接分析ではデータが不足することの解決策としての方向転換であった。手描きのアニメーションから受ける顔方位の個人間の差異を調査して差異が小さいことを確認した後、手描きのアニメーションと3次元コンピュータグラフィクスで作成されたアニメーション中の顔画像に特徴点を設定し、それらの組み合わせで定義される特徴量のうち、手描きのアニメーションと3次元コンピュータグラフィクスの弁別に強く働く特徴量を抽出した。特徴量の基底となるベクトル選定には非負値行列因子分解を用いて特徴量の画像上の幾何学的意味の説明が行えるよう正負の角度情報を正の値のみで表現できるような前処理法を考案した。また、CNNによる機械学習によっても手描きのアニメーション画像中の顔方位の推定が可能であることを実験により確認し、描画に規則性があることを裏付けた。
Current Status of Research Progress	Current Status of Research Progress 1: Research has progressed more than it was originally planned. Reason 平成27年度までは、一作品の一人物の振り向き描写について3次元コンピュータグラフィクスと比較して分析を行い、両者の差異のあることを示した。またこの差異はカメラの画角などの撮影方法の工夫では埋められないことも示した。平成28年度は、一つの放映作品で描かれている様々な登場人物の顔を対象として顔の方角知覚についての分析を始めた。これは、一連の振り向き動画像の直接分析ではデータ不足であるという問題の解決策として、多量の方角を向いた顔画像を代わりに用いることで顔の振り向き動作描写に対して行うのと類似した傾向分析を行うための準備であった。まず、手描きアニメーション中の様々な方角を向いた顔画像への知覚される顔方位と画像上の特徴点のデータ付与を行い、まず方位知覚に関しての個人差を調べ、手描きのアニメーションから受ける顔方位が安定していることとデータの信頼性を確認した。さらにCNNによる機械学習によっても手描きのアニメーション画像中の顔方位の推定が可能であることも実験により確認し、描画に規則性があることを裏付けた。平成29年度は、まず平成28年度に行った手描きアニメーション中の様々な方角を向いた顔画像へのデータ付与に対応する、3次元コンピュータグラフィクスにより作成された顔画像への同様なデータ付与の作業を行い、手描きアニメーション中の顔画像と3次元コンピュータグラフィクスにより作成された顔画像との差異を分析するデータの準備を行った。その後、手描きと3次元コンピュータグラフィクスによる顔画像を弁別するために有効な特徴空間の定義とその特徴空間の次元削減についての提案を行い、複数の具体的に弁別に有効な特徴量の抽出とその画像上の幾何学的意味についての説明を行うことができたため。
Strategy for Future Research Activity	平成29年度に提案した特徴空間の定義法は描画の分析方法の枠組みとして潜在能力が高いと考えている。そこで、より多くの基礎特徴量への適用や、顔の個性と顔の方位角の特徴空間内での配置の調査などの特徴空間内でのデータ分布の分析の深化を進める。また特徴量の変化に対応した顔画像の幾何学的変化についての可視化技法の向上を行い、手描きアニメーションにおける顔の描き方の特徴的な表現を視覚的にわかり易く説明する手法を検討する。
Causes of Carryover	今後の研究の推進方策で述べたとおり、特徴空間の定義方法の枠組みは描画分析に関する道具として高い可能性を秘めていると考えている。そのためより多くの基礎特徴量への手法の適用、特徴空間内のデータ分析、そしてそこから得られる傾向を視覚的に分かりやすく表現する手法の検討を継続して行う費用に充てる。また最終的な成果の発表に関する費用に充てる。