| 研究実績の概要 |
深層学習を用いた高画質な顔画像のレンダリングを行った．学習データには，顔3Dキャプチャ装置Light Stageにて撮影・作成された，顔の3Dメッシュおよびテクスチャ(diffuse albedo, specular albedo, displacement)のデータを用いた．学習はspecular成分とdiffuse成分を分離して行った．Specular成分の学習ではあらかじめOpenGLを用いてレンダリングされたspecular albedo, specular法線マップ,camera view(ある点からカメラへのベクトル)および照明の方向を入力とした．Diffuse成分の学習では，diffuse albedo, specular normalおよび照明の方向を入力とした．Specular成分については，Phongのモデルの式に従った簡易実験を行い，ニューラルネットワークが内積や指数関数を表現可能であるかどうかの確認を行った．簡易実験では，ランダムな法線と光源方向の値と，3層の畳み込みなしのニューラルネットワーク(Batch Normalizationあり)を用いることによって表現可能であることを確認した．顔画像についても，モデルからPhongのモデルによってレンダリングされた画像を学習データにし，簡易実験と同様のモデルを用いて学習を行った．学習結果では位相は正確に再現しているものの，明るさに差異が見られた．また，各方向からの平行光源の結果を足し合わせることにより，任意の環境マップを用いた時の結果を再現することも確認した．
現実空間の画像を正解画像として学習することによって，表面化散乱などの複雑な現象を推定してしまうことや，微分可能なモデルを生成することにより，画像からモデルやテクスチャ，照明条件などのパラメータを推定可能にすることなどといった応用が期待される．
|
