• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Language-driven visual content customization using construction sequences.

研究課題

研究課題/領域番号 23K16921
研究種目

若手研究

配分区分基金
審査区分 小区分61020:ヒューマンインタフェースおよびインタラクション関連
研究機関東京大学

研究代表者

沈 奕超  東京大学, 大学院情報理工学系研究科, 助教 (40969119)

研究期間 (年度) 2023-04-01 – 2028-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2027年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2026年度: 650千円 (直接経費: 500千円、間接経費: 150千円)
2025年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2024年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワードcomputer graphics / typography / computer vision / icon colorization / virtual try-on / machine learning / 3D shape reconstruction
研究開始時の研究の概要

This project will focus on inferring the 3D shape construction sequence and connecting them to natural language descriptions. I will collect construction sequences, design algorithms to generate construction sequences, and establish latent space between construction sequences and natural languages.

研究実績の概要

In the past one year, I have been working on various projects related to this funding, including designing high-usability icons, icon colorization, procedural shape generation, and foundation model for typography. These projects lead to four journal papers and one conference short paper. The result outcomes exhibits distinct contributions that we focus on providing novel computational models and foundation models for graphic design elements, such as fonts and icons.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

In the past year, I developed a foundation model for typography which is fundamentally change how multilingual font applications can be achieved. This model can be used to do language-driven font retrieval and vector glyph optimization. Meanwhile, I also developed another foundation model for connecting text descriptions with icons. This foundation model can then be used to design high-usability icons that reduce the effort of icon designers.
These two foundation models are very unique compared to other existing foundation models where our models focus on graphic design domains rather than natural scene images.

今後の研究の推進方策

The development of the foundation model of typography (i.e., FontCLIP) provides a great foundation for me to proceed on related research projects, such as utilize language input to design variable fonts and sentence generation. Meanwhile, with the foundation model for icon, I plan to combine it with a large language model to generate diverse icons that users can use for various graphic design tasks.

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (12件)

すべて 2024 2023 その他

すべて 国際共同研究 (3件) 雑誌論文 (4件) (うち国際共著 4件、 査読あり 4件、 オープンアクセス 3件) 学会発表 (1件) (うち国際学会 1件) 備考 (4件)

  • [国際共同研究] National Taiwan University/National Chung Cheng University/National Yang Ming Chiao Tung University(その他の国・地域)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Carleton University(カナダ)

    • 関連する報告書
      2023 実施状況報告書
  • [国際共同研究] Reichman University(イスラエル)

    • 関連する報告書
      2023 実施状況報告書
  • [雑誌論文] FontCLIP: A Semantic Typography Visual-Language Model for Multilingual Font Applications2024

    • 著者名/発表者名
      Yuki Tatsukawa、 I-Chao Shen、 Anran Qi、Yuki Koyama、Takeo Igarashi、Ariel Shamir
    • 雑誌名

      Computer Graphics Forum

      巻: -

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] EvIcon: Designing High‐Usability Icon with Human‐in‐the‐loop Exploration and IconCLIP2023

    • 著者名/発表者名
      Shen I‐Chao、Cherng Fu‐Yin、Igarashi Takeo、Lin Wen‐Chieh、Chen Bing‐Yu
    • 雑誌名

      Computer Graphics Forum

      巻: 42 号: 6

    • DOI

      10.1111/cgf.14924

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Data‐guided Authoring of Procedural Models of Shapes2023

    • 著者名/発表者名
      Hossain Ishtiaque、Shen I‐Chao、Igarashi Takeo、van Kaick Oliver
    • 雑誌名

      Computer Graphics Forum

      巻: 42 号: 7

    • DOI

      10.1111/cgf.14935

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Palette‐Based and Harmony‐Guided Colorization for Vector Icons2023

    • 著者名/発表者名
      Lin Miao、Shen I‐Chao、Chin Hsiao‐Yuan、Chen Ruo‐Xi、Chen Bing‐Yu
    • 雑誌名

      Computer Graphics Forum

      巻: 42 号: 7

    • DOI

      10.1111/cgf.14950

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] 3D Reconstruction from Sketch with Hidden Lines by Two-Branch Diffusion Model2024

    • 著者名/発表者名
      Yuta Fukushima
    • 学会等名
      Eurographics
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [備考] FontCLIP

    • URL

      https://yukistavailable.github.io/fontclip.github.io/

    • 関連する報告書
      2023 実施状況報告書
  • [備考] Icon colorization

    • URL

      https://jdily.github.io/proj_site/icon_colorization.html

    • 関連する報告書
      2023 実施状況報告書
  • [備考] Procedural Models Authoring

    • URL

      https://jdily.github.io/proj_site/data_proc_model.html

    • 関連する報告書
      2023 実施状況報告書
  • [備考] EvIcon

    • URL

      https://jdily.github.io/proj_site/evicon_proj.html

    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi