• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study for Sketch-Driven Fluid Simulation in Computer Graphics

Research Project

Project/Area Number 23K18514
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 62:Applied informatics and related fields
Research InstitutionHosei University

Principal Investigator

佐藤 周平  法政大学, 情報科学部, 准教授 (90815599)

Co-Investigator(Kenkyū-buntansha) 謝 浩然  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (40789898)
Project Period (FY) 2023-06-30 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,500,000 (Direct Cost: ¥5,000,000、Indirect Cost: ¥1,500,000)
Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Keywords流体シミュレーション / スケッチ / ユーザインタフェース / 深層学習 / 拡散モデル / 最適化 / 制御
Outline of Research at the Start

映画やゲームなどにおいて,流体(煙や水,炎など)の映像の生成に物理シミュレーションがよく用いられる.ただし流体は,その非線形性から結果を予測することが困難なため,制御や編集のための方法が数多く提案されている.これらはシミュレーションに慣れたアニメータには有用な方法だが,シーンの構成を考えるデザイナの描いた絵コンテなどと直接対応させることは不可能に近く,結局は映像の作成に試行錯誤が必要となる.そこで本研究では,デザイナの描くスケッチを1枚もしくは少ない枚数入力すると,それに類似したシミュレーション結果が得られる革新的なシステムを追求する.

Outline of Annual Research Achievements

本研究の目的であるスケッチ駆動の流体シミュレーションのために,2次元の煙の流れをスケッチから生成する方法を提案した.本研究課題では,事前の研究において同様に2次元の煙の流れをスケッチに基づいて生成する方法を発表していた.この事前の研究では,煙の流れとそれに対応する線画との対応関係を2段階のcGANを用いたモデルにより学習した.これに対し,新たに近年深層学習モデルとして注目を集めている拡散モデルを用いた2段階のネットワークを構築し,煙の速度場と主要な流れの存在範囲を表すLagrangian Coherent Structure(LCS),およびLCSと線画の関係を,cGANよりも精度よく学習できることを明らかにした.また,提案手法のモデルは従来のcGANを用いたモデルよりも,尤もらしい流れが生成できることを確認した.本提案モデルにより,流れを疑似的に表す線画から,尤もらしい煙の流れを生成することに関して,より精度を向上させることができ,また本研究課題が目的とする流体のラフなスケッチからの流れの生成に向けて大きな知見を得ることができた.
また,川の流れを対象として,スケッチに応じた川の流れを生成する方法を提案した.この方法では,ユーザが描いたラフな川のスケッチに対し,その川の幅に類似した3次元の川の流れを生成する.具体的には,川のシミュレーション結果をスケッチと同一の視点から描画し,スケッチの川の領域と,シミュレーションの川の領域が一致するように,川の流入口の大きさや流入する速度を最適化する.この手法により川の幅に関してスケッチに類似したシミュレーション結果が得られることを確認でき,スケッチとシミュレーション結果の類似性を評価可能な枠組みを明らかにできた.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

初年度は主にインタフェースや従来手法の3次元化などの実装や調査を計画していた.3次元化については,完了しておらず現在準備中であるが,その他の実装や調査に加えて,研究実績の概要にも記載した通り,すでに手法の考案や実験に進んでおり,学会での発表も行った.特に煙に関しては,2次元ではあるが,全体のシステムの実装および実験が完了しており,査読付き国際会議への採択も決定している.そして,今後はこの方法をさらに発展させることを計画している.このように,当初計画していた実験環境の準備や文献の調査を超えて,現在研究が進展している.

Strategy for Future Research Activity

今後はまず,研究実績の概要にて記載したスケッチからの煙の流れの生成モデルを発展させる.現状では2次元の流れを対象としているため,これを3次元に拡張する.また,入力するスケッチは流れの中心を表す線として描く必要があり,煙を絵として描いたようなスケッチとは異なる.そのため,煙を描いたスケッチを入力に利用できるように拡張もしていく.これには,研究実績の概要に記載した川を対象とした研究におけるスケッチとシミュレーション結果の評価方法を参考にして進めることを考えている.加えて,川を含めた液体の流れを対象とした方法についても進展させる.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (22 results)

All 2024 2023

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (20 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results)

  • [Journal Article] DualShape: Sketch-based 3D Shape Design with Part Generation and Retrieval2024

    • Author(s)
      Xusheng Du, Tianyu Zhang, Haoran Xie
    • Journal Title

      IEEE Access

      Volume: 12 Pages: 18888-18900

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 最適化に基づくテーマカラーへの変換システム2023

    • Author(s)
      佐藤 周平, 櫻井 快勢, 水嶋 楓華, 土橋 宜典
    • Journal Title

      芸術科学会論文誌

      Volume: 22(4)

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] DiffSmoke: Two-Stage Sketch-Based Smoke Design Using Latent Diffusion Models2024

    • Author(s)
      Hengyuan Chang, Tianyu Zhang, Syuhei Sato, Haoran Xie
    • Organizer
      International Conference on Computer Animation and Social Agents (CASA 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] TexControl: Sketch-Based Two-Stage Fashion Image Generation Using Diffusion Model2024

    • Author(s)
      Yongming Zhang, Tianyu Zhang, Haoran Xie
    • Organizer
      NICOGRAPH International 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] CG制作をより簡単にするために2024

    • Author(s)
      佐藤 周平
    • Organizer
      JAIST産学官共創フォーラム・令和5年度 第4回定期講演会
    • Related Report
      2023 Research-status Report
    • Invited
  • [Presentation] Sketch-Guided Flow Field Generation with Diffusion Model2024

    • Author(s)
      Hengyuan Chang, Yichen Peng, Syuhei Sato, Haoran Xie
    • Organizer
      International Workshop on Advanced Image Technology 2024 (IWAIT 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Two-Stage Sketch-Based Velocity Field Design with Latent Diffusion Model2024

    • Author(s)
      Hengyuan Chang, Syuhei Sato, Haoran Xie
    • Organizer
      4th International Symposium on Intelligence Design (ISID 2024)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 地形画像の再照明のための深層学習に基づく陰影除去に関する一実験2024

    • Author(s)
      立川 駿, 佐藤 周平
    • Organizer
      情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 第193回研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 顔パーツの指定によるアニメ調イラストから顔の3Dモデルの半自動生成に関する検討2024

    • Author(s)
      秋元 優希, 佐藤 周平, 櫻井 快勢
    • Organizer
      情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 第193回研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 中間形状を利用したシャボン玉シミュレーションの制御手法2024

    • Author(s)
      堀本 有紗, 中本 啓子, 佐藤 周平
    • Organizer
      情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 第193回研究発表会
    • Related Report
      2023 Research-status Report
  • [Presentation] 物理シミュレーションにおける雲の生成位置の制御に関する一実験2023

    • Author(s)
      児山 利枝子, 佐藤 周平
    • Organizer
      映像情報メディア学会 2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 所望の形状への氷・霜シミュレーションの成長制御に関する一実験2023

    • Author(s)
      大村 琉聖, 佐藤 周平
    • Organizer
      映像情報メディア学会 2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 時間的に変化する目標形状への煙のガイドシミュレーションに関する一実験2023

    • Author(s)
      小牧 瑞希, 佐藤 周平
    • Organizer
      映像情報メディア学会 2023年冬季大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 外力を利用した3次元のシャボン玉シミュレーションの形状制御手法2023

    • Author(s)
      堀本 有紗, 高松 香佳, 中本 啓子, 佐藤 周平
    • Organizer
      NICOGRAPH 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 基本画像の合成による線画への陰影生成2023

    • Author(s)
      小林 樹, 佐藤 周平
    • Organizer
      NICOGRAPH 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 画像からの再構成を目的とした凝集体の要素の位置姿勢探索2023

    • Author(s)
      村松 悠太, 佐藤 周平, 櫻井 快勢
    • Organizer
      NICOGRAPH 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] Text-driven Tree Modeling on L-System2023

    • Author(s)
      Yudai Ichimura, Syuhei Sato
    • Organizer
      SIGGRAPH ASIA 2023 Posters
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] L-Systemにおけるテキスト駆動の樹木のモデリング2023

    • Author(s)
      市村 侑大, 佐藤 周平
    • Organizer
      Visual Computing 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] パラメータの最適化に基づくスケッチからの川のシミュレーション生成2023

    • Author(s)
      池尾 歩, 佐藤 周平, 謝 浩然
    • Organizer
      Visual Computing 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] 拡散モデルを用いたスケッチベース流体速度場の生成2023

    • Author(s)
      常恒遠, Yichen Peng, 佐藤周平, 謝浩然
    • Organizer
      Visual Computing 2023
    • Related Report
      2023 Research-status Report
  • [Presentation] Sketch-Based Velocity Field Design using Latent Diffusion Model2023

    • Author(s)
      Chang Hengyuan, Yichen Peng, 佐藤周平, 謝浩然
    • Organizer
      情報処理学会コンピュータグラフィックスとビジュアル情報学研究会第191回
    • Related Report
      2023 Research-status Report
  • [Presentation] 液体アニメーションの検索のための水面メッシュの類似度評価手法2023

    • Author(s)
      磯谷 春慶, 佐藤 周平, 謝 浩然
    • Organizer
      第51回 画像電子学会年次大会
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-07-04   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi