Photo-realistic Face Analysis and Synthesis in Image and Video to Generate Personal Characteristics

• Project/Area Number: 26280062
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Partial Multi-year Fund
• Section: 一般
• Research Field: Perceptual information processing
• Research Institution: Waseda University
• Principal Investigator: Morishima Shigeo 早稲田大学, 理工学術院, 教授 (10200411)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Project Status: Completed (Fiscal Year 2016)
• Budget Amount: ¥16,250,000 (Direct Cost: ¥12,500,000、Indirect Cost: ¥3,750,000); Fiscal Year 2016: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000); Fiscal Year 2015: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000); Fiscal Year 2014: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
• Keywords: 3次元顔形状復元 / リップシンク合成 / 経年変化顔動画像合成 / 似顔絵からの実写復元 / キャラクタ合成 / 肥痩顔画像合成 / 犯罪捜査支援システム / パッチベース画像合成 / 感性情報学 / 画像、文章、音声等認識 / バーチャルリアリティ / マルチモーダルインタフェース / ユーザインタフェース / 経年変化顔合成 / 半透明物体のモデリング / 曲率依存反射関数 / 皴画像合成 / 表情分析・合成 / ３Dアニメーション

Outline of Final Research Achievements

This research project has succeeded to produce 6 systems concerning to face image analysis and synthesis considering personal characteristics as follows. 1) Face montage system effective to criminal investigation by considering an aging and slim/fat effect handling. 2) High quality pixel by pixel 3D face geometry reconstruction by single shot image with only small database. 3) Video lip synchronization system by video re-shuffling method applicable to translated voice without any 3D model for entertainment application. 4) High quality instant casting system for dance character reflecting personal characteristics in face and body. 5) Aging face video generation system reflecting personal characteristics in expression transition. 6) Automatic photo-realistic image generation from facial caricature keeping personal feature in original image.

Research Products

• [Int'l Joint Research] University South California(米国)
• [Int'l Joint Research] Northumbria University(英国)
• [Int'l Joint Research] Drexel University(米国)
• [Journal Article] 頭蓋骨形状を考慮した肥痩変化顔画像合成 (2017)
  • Author(s): 福里 司, 藤崎匡裕, 加藤卓哉, 森島繁生
  • Journal Title: 画像電子学会誌 Volume: 46 Pages: 197-205
  • NAID: 130007614029
  • Peer Reviewed
• [Journal Article] 老化時の皺の個人性を考慮した経年変化顔画像合成 (2016)
  • Author(s): サフキンパーベル, 加藤卓哉, 福里司, 森島繁生
  • Journal Title: 情報処理学会論文誌 Volume: 57 Pages: 1627-1637
  • NAID: 170000131007
  • Peer Reviewed
• [Presentation] 表情変化を考慮した経年変化顔動画合成 (2017)
  • Author(s): 山本晋太郎 サフキンパーベル 加藤卓哉 山口周悟 森島繁生
  • Organizer: 情報処理学会 第166回コンピュータグラフィックスとビジュアル情報学研究発表会
  • Place of Presentation: GYAOセミナールーム（東京）
• [Presentation] 似顔絵から顔を知る --似顔絵実写化の可能性-- (2016)
  • Author(s): 中村優文，森島繁生
  • Organizer: フォーラム顔学 2016
  • Place of Presentation: 東京藝術大学
  • Year and Date: 2016-11-19
• [Presentation] 顔の発話動作と音声とを同期させた映像を生成する手法の提案 (2016)
  • Author(s): 古川翔一, 加藤卓哉, サフキンパーベル, 森島繁生
  • Organizer: フォーラム顔学 2016
  • Place of Presentation: 東京藝術大学
  • Year and Date: 2016-11-19
• [Presentation] Audio-Visual Synchronizer ~口-音声同期システムの提案と実写映像・アニメ応用の可能性~ (2016)
  • Author(s): 古川翔一，加藤卓哉，サフキンパーベル，森島繁生
  • Organizer: CEDEC 2016
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2016-08-24
• [Presentation] 3D Facial Geometry Reconstruction using Patch Database (2016)
  • Author(s): Tsukasa Nozawa, Takuya Kato, Pavel A. Savkin, Naoki Nozawa, Shigeo Morishima
  • Organizer: ACM SIGGRAPH 2016
  • Place of Presentation: Anaheim Convention Center
  • Year and Date: 2016-07-24
  • Int'l Joint Research
• [Presentation] Video Reshuffling: Automatic Video Dubbing without Prior Knowledge (2016)
  • Author(s): Shoichi Furukawa，Takuya Kato，Pavel Savkin，Shigeo Morishima
  • Organizer: ACM SIGGRAPH 2016
  • Place of Presentation: Anaheim Convention Center
  • Year and Date: 2016-07-24
  • Int'l Joint Research
• [Presentation] Creating a Realistic Face Image from a Cartoon Character (2016)
  • Author(s): Masanori Nakamura, Shugo Yamaguchi, Tsukasa Fukusato, Shigeo Morishima
  • Organizer: ACM SIGGRAPH / Eurographics Symposium on Computer Animation (SCA) 2016
  • Place of Presentation: Zurich
  • Year and Date: 2016-07-11
  • Int'l Joint Research
• [Presentation] Facial Fatting and Slimming Simulation Based on Skull Structure (2015)
  • Author(s): Masahiro Fujisaki, Shigeo Morishima
  • Organizer: ISVC 2015
  • Place of Presentation: Las Vegas, アメリカ
  • Year and Date: 2015-12-14
  • Int'l Joint Research
• [Presentation] 曲率に依存した反射関数を用いた半透明物体の照度差ステレオ法 (2015)
  • Author(s): 岡本翠, 久保尋之, 向川康博, 森島繁生
  • Organizer: ビジュアルコンピューティングワークショップ 2015
  • Place of Presentation: 金沢、日本
  • Year and Date: 2015-11-27
• [Presentation] 主成分分析に基づく類似口形状検出によるビデオ翻訳動画の生成 (2015)
  • Author(s): 古川 翔一, 加藤 卓哉, 野澤 直樹, サフキン パーベル, 森島 繁生
  • Organizer: 第161回GCAD・第199回CVIM合同研究発表会-情報処理学会
  • Place of Presentation: 神戸、日本
  • Year and Date: 2015-11-06
• [Presentation] パッチタイリングを用いた法線推定による3次元顔形状復元 (2015)
  • Author(s): 野沢 綸佐, 加藤 卓哉, 藤崎 匡裕, サフキン パーベル, 森島 繁生
  • Organizer: 第161回CG・第199回CVIM合同研究発表会
  • Place of Presentation: 神戸、日本
  • Year and Date: 2015-11-06
• [Presentation] Wrinkles Individuality Representing Aging Simulation (2015)
  • Author(s): Pavel Savkin, Takuya Kato, Daiki, Kuwahara, Shigeo Morishima
  • Organizer: SIGGRAPH ASIA 2015
  • Place of Presentation: 神戸、日本
  • Year and Date: 2015-11-02
  • Int'l Joint Research
• [Presentation] パーベル サフキン, 桑原 大樹, 川井 正英, 加藤 卓哉, 森島 繁生 (2015)
  • Author(s): 皺の発生過程を考慮した経年変化顔画像合成
  • Organizer: Visual Computing / グラフィクスと CAD 合同シンポジウム 2015
  • Place of Presentation: 姫路、日本
  • Year and Date: 2015-06-28
• [Presentation] FG2015 age progression evaluation (2015)
  • Author(s): Nicolas Tsapatsoulis ; Kleanthis Soteriou ; Daiki Kuwahara ; Shigeo Morishima
  • Organizer: FG2015
  • Place of Presentation: リュブリャナ、スロベニア
  • Year and Date: 2015-05-04
  • Int'l Joint Research
• [Presentation] 顔画像処理 の過去・現在・未来 (2014)
  • Author(s): 森島繁生
  • Organizer: 第157回GCAD・第194回CVIM合同研究発表会
  • Place of Presentation: 早稲田大学 西早稲田キャンパス
  • Year and Date: 2014-11-20
  • Invited
• [Presentation] Character Transfer:キャラクタ固有の表情特徴を考慮した顔アニメーション (2014)
  • Author(s): 加藤卓也，斉藤隼介，川井正英，森島繁生
  • Organizer: CEDEC2014
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2014-09-02 – 2014-09-04
• [Presentation] 実測に基づいた曲率依存反射関数による半透明物体のリアルタイムレンダリング (2014)
  • Author(s): 岡本翠，安達翔平，宇梶弘晃，岡見和樹，森島繁生
  • Organizer: CEDEC2014
  • Place of Presentation: パシフィコ横浜
  • Year and Date: 2014-09-02 – 2014-09-04