Surface and Subsurface Scattering Property Estimation and Simplification for Material Editing on Real-world Photographs

• Project/Area Number: 16J02280
• Research Category: Grant-in-Aid for JSPS Fellows
• Allocation Type: Single-year Grants
• Section: 国内
• Research Field: Perceptual information processing
• Research Institution: Waseda University
• Principal Investigator: 谷田川 達也 早稲田大学, 先進理工学研究科, 特別研究員(PD)
• Project Period (FY): 2016-04-22 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2017: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000); Fiscal Year 2016: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
• Keywords: コンピュータ・グラフィックス / 半透明媒質 / 拡散パラメータ推定 / 実時間レンダリング

Outline of Annual Research Achievements

本年度は、昨年開発した測定システムの精度向上、ならびに実時間レンダリングでの利用を目的にして研究を進めた。本年度の研究では、光の散乱を表すモデル自体の見直しを行った。通常、より複雑な計算モデルを用いれば、その計算にかかる時間やメモリ使用量などは増大してしまい、この研究の当初の目的である効率的な光学特性の取得に反する。本研究では、畳み込み積分が計算機での効率的な計算に有利であることに注目し、物理的な散乱現象を記述する方程式からガウス関数での畳み込みと、画像の画素同士の積だけからなる計算モデルを導出した。ガウス関数での畳み込みと画像の画素同士の積は、いずれも並列計算機を用いて効率的に計算できるため、この計算モデルは、従来モデルと同等の計算速度で、物理現象に即した非等方性の散乱を表現できる。また、この新しい表現法は、その計算モデル自体が計算効率の良いモデルであるため、光学特性の推定だけでなく、測定済みの物理パラメータを用いた映像生成の際にも役立つ。従来の実時間レンダリング法では、非等方性の散乱を等方性の散乱で近似して計算効率を向上していたが、上記の通り、提案の表現モデルは非等方性の散乱を考慮しながらも、実応用で標準的に用いられるFull HDの解像度(1920×1080ピクセル)の映像を、それに十分な計算速度とされる秒間120フレームで描画できる。この成果は現在、国際論文誌への投稿を準備中である。加えて、静止画像に映り込んだ半透明材質の質感を別の静止画像ならびに動画像中の物体に転写する手法についても共同研究を実施した。この手法は単純な画像処理のアルゴリズムの組み合わせのみで実現されるが、近年の深層学習モデルに基づく手法を大きく上回る品質で半透明材質の質感を転写できる。この成果は関係分野における代表的な国際会議であるComputer Graphics International 2019にて発表予定である。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Image-Based Translucency Transfer through Correlation of Multi-Scale Spatial Color Distribution (2019)
  • Author(s): Hideki Todo, Tatsuya Yatagawa, Masataka Sawayama, Yoshinori Dobashi and Masanori Kakimoto
  • Journal Title: The Visual Computer (Special Issue for Computer Graphics International 2019) Volume: 印刷中
  • Peer Reviewed
• [Journal Article] Data compression for measured heterogeneous subsurface scattering via scattering profile blending (2019)
  • Author(s): Yatagawa Tatsuya、Todo Hideki、Yamaguchi Yasushi、Morishima Shigeo
  • Journal Title: The Visual Computer Volume: - Issue: 3 Pages: 1-18
  • DOI: 10.1007/s00371-018-01626-x
  • Peer Reviewed / Open Access
• [Journal Article] 光学的最短経路長を用いた表面下散乱の高速計算による半透明物体のリアルタイム・レンダリング (2017)
  • Author(s): 小澤 禎裕，谷田川 達也，久保 尋之，森島 繁生
  • Journal Title: 画像電子学会誌 Volume: 46 Pages: 533-546
  • NAID: 130007613477
  • Peer Reviewed
• [Presentation] FSNet: An Identity-aware Generative Model for Image-based Face Swapping (2018)
  • Author(s): Ryota Natsume, Tatsuya Yatagawa and Shigeo Morishima
  • Organizer: Asian Conference on Computer Vision
  • Int'l Joint Research
• [Presentation] Efficient Metropolis Path Sampling for Material Editing and Re-rendering (2018)
  • Author(s): Tomoya Yamaguchi, Tatsuya Yatagawa and Shigeo Morishima
  • Organizer: Pacific Graphics (short paper)
  • Int'l Joint Research
• [Presentation] RSGAN: face swapping and editing via region separation in latent spaces (2018)
  • Author(s): Ryota Natsume, Tatsuya Yatagawa and Shigeo Morishima
  • Organizer: ACM SIGGRAPH (poster)
  • Int'l Joint Research
• [Presentation] Linearly Transformed Cosinesを用いた非等方関与媒質のリアルタイムレンダリング (2018)
  • Author(s): 久家 隆宏, 谷田川 達也, 森島 繁生
  • Organizer: VCワークショップ2018
• [Presentation] 非均一半透明材質の拡散パラメータに対する高圧縮率データ削減法 (2018)
  • Author(s): 谷田川 達也
  • Organizer: CEDEC 2018
• [Presentation] 基本材質の拡散プロファイル混合による実測BSSRDFデータの圧縮 (2018)
  • Author(s): 谷田川 達也, 藤堂 英樹, 山口 泰, 森島 繁生
  • Organizer: Visual Computing 2018
• [Presentation] 変分オートエンコーダを用いた領域特徴抽出による顔領域入れ替えを含む画像編集法 (2018)
  • Author(s): 夏目 亮太, 谷田川 達也, 森島 繁生
  • Organizer: Visual Computing 2018
• [Presentation] 画素ごとの編集量を利用したメトロポリス光輸送法による効率的再生成法 (2018)
  • Author(s): 山口 智也, 谷田川 達也, 森島 繁生
  • Organizer: Visual Computing 2018
• [Presentation] CG映像生成における光の散乱～実世界の忠実な表現に向けて～ (2018)
  • Author(s): 谷田川 達也
  • Organizer: 国立情報学研究所 平成30年度 第2回 産官学連携塾：「コンピューターグラフィックスで描き出す美と産業への応用～デザイン支援、写実的表現、そして科学と芸術の融合へ～」
  • Invited
• [Presentation] 単一画像を入力とした非均質物体のBSSRDF推定 (2016)
  • Author(s): 谷田川 達也, 山口 泰
  • Organizer: VC/GCAD合同シンポジウム
  • Place of Presentation: 東京
  • Year and Date: 2016-06-18
• [Remarks] 非均一半透明材質の拡散パラメータに対する高圧縮率データ削減法
  • URL: http://tatsy.github.io/projects/ssscomp/
• [Remarks] FSNet: 個人性を保った画像ベース顔交換のための生成モデル
  • URL: http://tatsy.github.io/projects/fsnet/
• [Remarks] 画素ごとの編集量を利用したメトロポリス光輸送法による効率的再生成法
  • URL: http://tatsy.github.io/projects/epsmlt/