表面格子場を使った三次元形状の深層学習

• Project/Area Number: 21K11910
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60090:High performance computing-related
• Research Institution: The University of Tokyo
• Principal Investigator: 梅谷 信行 東京大学, 大学院情報理工学系研究科, 准教授 (10893604)
• Project Period (FY): 2021-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: 深層学習 / 形状処理 / 機械学習

Outline of Research at the Start

本研究では，三次元形状を深層学習するために表面格子場という形状の表現方法の適応を新たに提案する．表面格子場は形状表面に滑らかに変化するように定義された接ベクトルで，深層学習の構成要素である畳み込み処理と親和性が高い．従来は四角形メッシュ生成の用途でしか使われてこなかった表面格子場を，新たに深層学習に適応することで，三次元形状の学習性能の向上を目指す．さらに三次元設計の自動化や，複雑な物理現象の予測のような新たな分野への応用を目指す．

Outline of Annual Research Achievements

昨年度では３次元のワイヤーアートの自動生成という研究課題に取り組んだ。この研究課題ではテキストなどを入力として、自動で３次元ワイヤーアートを生成するというものである。ワイヤーアートは視線方向に応じて表現する物を変えることができる（例えばある方向から見たら猫に見えるが、別の方向から見れば犬に見えるなど）。更にこのワイヤーアートは実際の製造が可能なように生成されており、３Dプリントされた型を使って実際に作ることができる。この研究では実際に数多くのワイヤーアートを制作することができた。このような技術は、申請書で提案した手法により実現された。つまり、３次元のワイヤーを２次元に投影して、その形状を２次元の直交グリッド上で深層学習を使って評価し、最適化するという手法をとっており、３次元の形状を直交グリッドで表現するという申請書の内容に則している。本研究はSIGGRAPHというコンピュータ・グラフィックス分野のトップカンファレンスに採択された。２０２４年の夏にアメリカのデンバーで口頭発表する予定である。家庭の事情で１年間、助成期間を延長しなければならなかったが、申請書で提案した最終目標である３次元形状の生成まで達成した上で、製造可能性などより複雑な評価関数を組み込むことができたので、申請書の内容は順調に達成できたと言える。本年ではワイヤーアートの自動生成の研究を発表すると共に、更にその内容を発展させた内容でもう一つ研究を完遂することを目指す。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

申請書で提案した最終目標である３次元形状の生成まで達成することができた。更に生成した形状が製造可能であるなど難易度の高い条件で生成をすることができた。

Strategy for Future Research Activity

去年度の研究内容を国際学会で発表すると共に、もし可能であれば更に内容を発展させて新しいテーマで研究に取り組みたい。

Research Products

• [Int'l Joint Research] Reichman University(イスラエル)
• [Int'l Joint Research] ISTA(オーストリア)
• [Journal Article] Fabricable 3D Wire Art (2024)
  • Author(s): Kenji Tojo, Ariel Shamir, Bernd Bickel, Nobuyuki Umetnai
  • Journal Title: Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers Volume: - Pages: 1-11
  • DOI: 10.1145/3641519.3657453
  • Peer Reviewed / Int'l Joint Research
• [Presentation] FaceZip: Automatic Texture Compression for Facial Blendshapes (2023)
  • Author(s): Yiyi Cai
  • Organizer: Graphics Interface 2023
  • Int'l Joint Research
• [Presentation] EnergyHair: Sketch-Based Interactive Guide Hair Design Using Physics-Inspired Energy (2022)
  • Author(s): Yuanwei Zhang, Shinichi Kinuwaki, Nobuyuki Umetani
  • Organizer: Graphics Interface 2022
  • Int'l Joint Research
• [Presentation] Neural Motion Compression with Frequency-adaptive Fourier Feature Network (2022)
  • Author(s): Kenji Tojo, Nobuyuki Umetani
  • Organizer: Eurographics 2022 Short Paper
  • Int'l Joint Research
• [Remarks] Neural Motion Compression
  • URL: https://cgenglab.github.io/labpage/en/publication/eg22short_neuralcompression/