• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2013 Fiscal Year Research-status Report

インタラクティブマルチビュービデオ通信システム

Research Project

Project/Area Number 23700136
Research InstitutionNational Institute of Informatics

Principal Investigator

CHEUNG GENE  国立情報学研究所, コンテンツ科学研究系, 准教授 (40577467)

Keywords国際情報交換 / グラフ信号処理 / 画像復元 / 視線の矯正 / 顔の美化
Research Abstract

研究実績は以下の二点に要約される。一点目はグラフ信号処理を用いた画像復元問題の適応。二点目はビデオ会議システム用の視線矯正と顔の美化。
一点目に関しては、最近信号処理学会で注目を集めているグラフ信号処理(graph signal processing (GSP))のツールの一つ、graph Fourier transform (GFT)を用いて、画像のノイズ除去や補間などの画像復元問題(image restoration problems)に適応する研究を行った。まず適切なエッジウェイトを与えて、graph Laplacianを計算する。グラフ信号xに対して、graph smoothness priorを用いて、信号の復元が可能になる。この手法は画像のノイズ除去、bit-depthの高度化、画像の補間などに適応し、その成果はIEEE会議で発表した。
二点目に関しては、一般的なテレビ会議システムで撮影するカメラの位置がユーザーの注目点と違うことにより、会議の参加者たちの視線が合わない問題に対する解決方法を提案した。まずネットから入手した20代から40代までの芸能人の顔写真を機械学習し、信号の辞書(dictionary)を作成する。テレビ会議の時には、スクリーンの真ん中の視点からの画像を合成し、辞書のatomsを用いてスパースな表現を求める。結果は視線矯正した画像だけでなく、目や眉毛が美化された効果が見られる。その成果はIEEE会議で発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

GFTを用いた、画像のノイズ除去、bit-depthの高度化、画像の補間もIEEE会議で発表することになった。奥行き画像の圧縮は4月にIEEEジャーナルに投稿した。
テレビ会議用の視線矯正と顔の美化は二月にIEEE会議に投稿した。最初のバージョンを改善し、四月にIEEEジャーナルに投稿した。

Strategy for Future Research Activity

GFTのグラフ構成は画像復元の効果に大きく影響する。論理的に一番適切なグラフ構成はどう求められるかは現在検討している最中。
顔の美化に関しては、実際のテレビ会議システムに適応するために、アルゴリズムのスピードアップが必要と指摘されている。アルゴリズムの簡潔化とGPUの実装を検討する予定。

Expenditure Plans for the Next FY Research Funding

奥行き画像の符号化アルゴリズムの圧縮に伴う計算過程に予想以上の時間がかかることが分かり、アルゴリズムのスピードアップの調整をする必要が生じ、システムの開発が遅れたため。
システム開発の遅れを取り戻すための機械学習が専門のポストドクターを雇用する人件費及び、研究成果発表のための学会参加費、旅費として使用する。

  • Research Products

    (15 results)

All 2014 2013 Other

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Acknowledgement Compliant: 1 results) Presentation (8 results) (of which Invited: 1 results) Remarks (1 results)

  • [Journal Article] Loss-Resilient Coding of Texture and Depth for Free-Viewpoint Video Conferencing2014

    • Author(s)
      Bruno Macchiavello, Camilo Dorea, Edson M. Hung, Gene Cheung, Wai-tian Tan
    • Journal Title

      IEEE Transactions on Multimedia

      Volume: vol.16, no.3, April Pages: pp.711-725

    • DOI

      10.1109/TMM.2014.2299768

    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Optimizing Distributed Source Coding for Interactive Multiview Video Streaming2013

    • Author(s)
      Zhi Liu, Gene Cheung, Jacob Chakareski, Yusheng Ji
    • Journal Title

      IEEE Transactions on Circuits and Systems for Video Technology

      Volume: vol.23, no.10, October Pages: pp.1781-1794

    • DOI

      10.1109/TCSVT.2013.2269019

    • Peer Reviewed
  • [Journal Article] Low-Cost Eye Gaze Prediction in Interactive Networked Video Streaming2013

    • Author(s)
      Yunlong Feng, Gene Cheung, Wai-tian Tan, Pactrick Le Callet, Yunsheng Ji
    • Journal Title

      IEEE Transactions on Multimedia

      Volume: vol.15, no.8, December Pages: pp.1865-1879

    • DOI

      10.1109/TMM.2013.2272918

    • Peer Reviewed
  • [Journal Article] Video Error Concealment Using a Computation-efficient Low Saliency Prior2013

    • Author(s)
      Hadi Hadizadeh, Ivan V. Bajic, Gene Cheung
    • Journal Title

      IEEE Transactions on Multimedia

      Volume: vol.15, no.8, December Pages: pp.2099-2113

    • DOI

      10.1109/TMM.2013.2281024

    • Peer Reviewed
  • [Journal Article] 3D Motion Estimation for Visual Saliency Modeling2013

    • Author(s)
      Penfei Wan, Yunlong Feng, Gene Cheung, Ivan V. Bajic, Oscar C. Au
    • Journal Title

      IEEE Signal Processing Letters

      Volume: vol.20, no.10, October Pages: pp.972-975

    • DOI

      10.1109/LSP.2013.2277595

    • Peer Reviewed
  • [Journal Article] Navigation Domain Partitioning for Interactive Multiview Imaging2013

    • Author(s)
      Thomas Maugey, Ismael Daribo, Gene Cheung, Pascal Frossard
    • Journal Title

      IEEE Transactions on Image Processing

      Volume: vo.22, no.9, September Pages: pp.3459-3472

    • DOI

      10.1109/TIP.2013.2270183

    • Peer Reviewed
  • [Presentation] Graph-based Interpolation for DIBR-synthesized Images with Nonlocal Means2013

    • Author(s)
      Yu Mao, Gene Cheung, Yusheng Ji
    • Organizer
      IEEE Global Conference on Signal and Information Processing (GlobalSIP) 2013
    • Place of Presentation
      Austin, TX, USA
    • Year and Date
      20131203-20131205
    • Invited
  • [Presentation] Joint Texture-Depth Pixel Inpainting of Disocclusion Holes in Virtual View Synthesis2013

    • Author(s)
      Smarti Reel, Gene Cheung, Patrick Wong, Laurence S. Dooley
    • Organizer
      APSIPA ASC 2013
    • Place of Presentation
      Kaohsiung, Taiwan
    • Year and Date
      20131029-20131101
  • [Presentation] Depth Map Denoising using Graph-based Transform and Group Sparsity2013

    • Author(s)
      Wei Hu, Xin Li, Gene Cheung, Oscar Au
    • Organizer
      IEEE International Workshop on Multimedia Signal Processing 2013
    • Place of Presentation
      Sardinia, Italy
    • Year and Date
      20130930-20131002
  • [Presentation] Saliency-cognizant Robust View Synthesis in Free Viewpoint Video Streaming2013

    • Author(s)
      Bruno Macchiavello, Camilo Dorea, Edson M. Hung, Gene Cheung, Wai-tian Tan
    • Organizer
      IEEE International Conference on Image Processing 2013
    • Place of Presentation
      Melbourne, Australia
    • Year and Date
      20130915-20130918
  • [Presentation] Rate-complexity Tradeoff for Client-side Free Viewpoint Image Rendering2013

    • Author(s)
      Yu Gao, Gene Cheung, Jie Liang
    • Organizer
      IEEE International Conference on Image Processing 2013
    • Place of Presentation
      Melbourne, Australia
    • Year and Date
      20130915-20130918
  • [Presentation] Rate-distortion Optimized Merge Frame using Piecewise Constant Functions2013

    • Author(s)
      Wei Dai, Gene Cheung, Ngai-Man Cheung, Antonio Ortega, Oscar Au
    • Organizer
      IEEE International Conference on Image Processing 2013
    • Place of Presentation
      Melbourne, Australia
    • Year and Date
      20130915-20130918
  • [Presentation] Optimizing Peer Grouping for Live Free Viewpoint Video Streaming2013

    • Author(s)
      Yuan Yuan, Bo Hu, Gene Cheung, Vicky Zhao
    • Organizer
      IEEE International Conference on Image Processing 2013
    • Place of Presentation
      Melbourne, Australia
    • Year and Date
      20130915-20130918
  • [Presentation] Intra Predictive Transform Coding based on Predictive Graph Transform2013

    • Author(s)
      Yongzhe Wang, Antonio Ortega, Gene Cheung
    • Organizer
      IEEE International Conference on Image Processing 2013
    • Place of Presentation
      Melbourne, Australia
    • Year and Date
      20130915-20130918
  • [Remarks] Gene Cheung's personal page

    • URL

      http://research.nii.ac.jp/~cheung/index.html

URL: 

Published: 2015-05-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi