• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

データ駆動型物理法則CGアニメーションの発展と深化

Research Project

Project/Area Number 19K11990
Research InstitutionThe University of Tokyo

Principal Investigator

金井 崇  東京大学, 大学院総合文化研究科, 准教授 (60312261)

Project Period (FY) 2019-04-01 – 2022-03-31
Keywords深層学習 / グラフアテンションネットワーク / スキニング / 髪アニメーション / 敵対的生成ネットワーク / ニューラル画像変換 / Cycle-GAN / キャラクタアニメーション
Outline of Annual Research Achievements

本年度は,主に二つのテーマにおける研究の進展を図った.
一つは,グラフアテンションネットワークを用いたキャラクタの非線形変形についての研究である.スキニングと微調整の繰り返しに費やす時間を削減するため,高品質なスキニングを施したキャラクタのメッシュの既存のグラフ情報をもとに,新しいキャラクタの変形を自動的に計算するエンドツーエンドのアプローチを提案した.ここでは,複雑なグラフデータを扱い,非線形変形を誘導的に予測するために,グラフアテンション (GAT) ブロックを設計している.そして,膨大な量のメッシュ特徴を学習することの難しさを軽減するために,
DenseGAT と呼ばれる GAT ブロック間の密な接続パターンを導入している.本研究では,提案手法のテストを行い,古典的な変形手法や他のグラフ学習ベースの戦略と比較した.実験の結果,我々のネットワークにより,学習データにないキャラクタの非線形変形を予測できることを確認した.
もう一つは,写実的な髪の高速なアニメーションのための研究である.本研究では,フォトリアリスティックな髪アニメーションの敵対的生成ネットワークを基にしたシェーディングモデルを提案した.教師なし生成ネットワークを拡張し,フォトリアリスティックな髪の毛を高速にシェーディングすることを試みる.また,本研究のモデルは,従来のレンダリングアルゴリズムよりも高速で,他のニューラル画像変換手法よりもアーティファクトが少ないことを示している.主なアイデアは,Cycle-GAN 構造を拡張して,半透明の髪の外観の大部分を保存し,シーンのライトとの相互作用を正確に生成することである.我々は,時間的コヒーレンスとハイライトの安定性を維持するために2つの制約を構築した.実験を通じて,従来の手法よりも優れており,計算効率が高いことを実証した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度は,計画にあげた2つの研究テーマについて一定の成果を挙げている.
キャラクタの非線形変形については,グラフニューラルネットワークを用いることで,学習データにないキャラクタの非線形変形を予測できることを実証した.今後は,より汎用的なネットワークにできるかどうかが今後の課題である.
髪の高速なアニメーションについては,GANベースの教師なしネットワークによって,従来にはない計算効率の高い手法を実証できた.今後はより実用的なシステムにするため,通常のレンダリングパイプラインに組み込む必要がある.
2つの研究ともに,手法の改良によってより良い結果が期待できるものと考えている.

Strategy for Future Research Activity

今後は,引き続き2つの研究テーマについて,手法の拡張を視野に研究を進めていく.
キャラクタの非線形変形について,これまで提案したネットワークでは,その学習のために,相当数のポーズを持つ大規模なキャラクタデータセットが必要となる.このため,ネットワークを一般化して現実的な変形近似を実現するための方策を検討する.ここでは,多重解像度グラフネットワークを利用することで,一般的な特徴をより良く抽出することができ,ネットワークの学習はもはや大量の学習データに大きく依存しないようになることが期待される.
髪の高速なアニメーションについては,より高速なアニメーションを実現するため,疎なガイドヘアから詳細な髪に変換するための条件付きニューラルネットワークについて検討する.また,グラフィックスパイプラインに統合するため,髪と頭部の合成が必須である.このため,ニューラルネットワークで生成するデータとしては,RGB色画像の他に深さデータやαチャンネルデータが必要となり,これらの生成手法についても検討する.

Causes of Carryover

新型コロナウイルス蔓延に伴い,当初予定していた国際会議に出席できなかったことにより,昨年度分の未使用分と合わせて物品購入に振り替えたものの,出張費として計上していた分の一部が未使用となっている.
次年度の国際会議についても,引き続き新型コロナ流行の影響でオンライン開催に変更になっているものが多い.したがって,今後の状況を見て,今年度未使用分と合わせて物品購入に振り替えることを検討している.

  • Research Products

    (11 results)

All 2021 2020 Other

All Journal Article (7 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 7 results,  Open Access: 1 results) Presentation (3 results) Remarks (1 results)

  • [Journal Article] A GAN-based Temporally Stable Shading Model for Fast Animation of Photorealistic Hair2021

    • Author(s)
      Zhi Qiao, Takashi Kanai
    • Journal Title

      Computational Visual Media

      Volume: 7 Pages: 127-138

    • DOI

      10.1007/s41095-020-0201-9

    • Peer Reviewed / Open Access
  • [Journal Article] DenseGATs: A Graph-Attention-Based Network for Nonlinear Character Deformation2020

    • Author(s)
      Tianxing Li, Rui Shi, Takashi Kanai
    • Journal Title

      Proc. ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games 2020

      Volume: 2020 Pages: 5:1-5:9

    • DOI

      10.1145/3384382.3384525

    • Peer Reviewed
  • [Journal Article] High Accuracy Terrain Reconstruction from Point Clouds Using Implicit Deformable Model2020

    • Author(s)
      Jules Morel, Alexandra Bac, Takashi Kanai
    • Journal Title

      Lecture Notes in Computer Science (Proc. ICCS 2020 Part IV)

      Volume: 12142 Pages: 251-265

    • DOI

      10.1007/978-3-030-50433-5_20

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Biological Modeling of Feathers by Morphogenesis Simulation2020

    • Author(s)
      Jiajun Zhang, Takashi Kanai
    • Journal Title

      Proc. 2020 International Conference on Cyberworlds

      Volume: 2020 Pages: 63-70

    • DOI

      10.1109/cw49994.2020.00017

    • Peer Reviewed
  • [Journal Article] Segmentation of Unbalanced and In-homogeneous Point Clouds and Its Application to 3D Scanned Trees2020

    • Author(s)
      Jules Morel, Alexandra Bac, Takashi Kanai
    • Journal Title

      The Visual Computer

      Volume: 36 Pages: 2419-2431

    • DOI

      10.1007/s00371-020-01966-7

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] An Energy-Conserving Hair Shading Model Based on Neural Style Transfer2020

    • Author(s)
      Zhi Qiao, Takashi Kanai
    • Journal Title

      Proc. Pacific Graphics 2020 Short Papers

      Volume: 2020 Pages: 1-6

    • DOI

      10.2312/pg.20201222

    • Peer Reviewed
  • [Journal Article] Digital Terrain Model From UAV Photogrammetric Data2020

    • Author(s)
      Jules Morel, Alexandra Bac, Takashi Kanai
    • Journal Title

      Proc. STAG 2020: Smart Tools and Applications in Graphics

      Volume: 2020 Pages: 77-87

    • DOI

      10.2312/stag.20201242

    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 点群用深層学習モデルを用いた高速なデータ駆動液体シミュレーション2020

    • Author(s)
      渡邊 魁人, 金井 崇
    • Organizer
      Visual Computing 2020 ポスター
  • [Presentation] 樹木・森林・地形モデリングのための LiDAR 点群処理2020

    • Author(s)
      金井 崇, モレル ジュル, バック アレクサンドラ
    • Organizer
      Visual Computing 2020 ポスター
  • [Presentation] DenseGATs: キャラクタの非線形変形のためのグラフアテンションネットワーク2020

    • Author(s)
      Tianxing Li, Rui Shi, Takashi Kanai
    • Organizer
      Visual Computing 2020 ポスター
  • [Remarks] 東京大学 金井崇研究室

    • URL

      https://graphics.c.u-tokyo.ac.jp/

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi