パッチマッチング法による実写 3 次元映像の圧縮と処理

• 研究課題/領域番号: 22650016
• 研究種目: 挑戦的萌芽研究
• 配分区分: 補助金
• 研究分野: メディア情報学・データベース
• 研究機関: 東京大学
• 研究代表者: 山崎 俊彦 東京大学, 大学院・情報理工学系研究科, 准教授 (70376599)
• 連携研究者: 相澤 清晴 東京大学, 大学院・情報学環, 教授 (20192453)
• 研究期間 (年度): 2010 – 2012
• 研究課題ステータス: 完了 (2012年度)
• 配分額: 3,120千円 (直接経費: 2,700千円、間接経費: 420千円); 2012年度: 650千円 (直接経費: 500千円、間接経費: 150千円); 2011年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円); 2010年度: 1,300千円 (直接経費: 1,300千円)
• キーワード: 3次元映像 / 圧縮 / パッチマッチング

研究概要

実写3次元映像の圧縮と処理に関する研究を行った。実写3次元映像は各フレーム独立に生成されることが多く、時間的に連続するフレームにおいても頂点数や結線関係が保存されていない場合が多いため、圧縮が困難であった。そこで、研究代表者が考案したパッチマッチング法に基づき、実写3次元映像の頂点情報、結線情報、色情報を同時に圧縮可能な技術を研究した。具体的な手法について述べる。まず、測地線距離を用いて各フレームの3次元メッシュモデルをほぼ等面積になるようにパッチに分割し、それを圧縮処理の基本単位とした。各パッチの幾何情報、色情報に対してキルヒホッフ行列によるメッシュ周波数解析やベクトル量子化を施すことによりフレーム内圧縮を実現した。さらに、隣接フレーム間でもっとも類似するパッチを探索し、対応パッチからの残渣情報のみを符号化することでフレーム間圧縮を実現した。これにより、フレーム内圧縮で1/8程度、フレーム間圧縮で1/12程度の圧縮率を実現した。

研究成果

• [雑誌論文] Rel ative-Distance-BasedSoft Votingfor HumanAttribute Analysis using Top-View (2013)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: Images,"ITETransactionsonMediaTechnologyandpplications, 巻: vol. 1, no. 2 ページ: 138-147
• [雑誌論文] Human attribute analysis using atop-view camera based on two-stageclassification (2013)
  • 著者名/発表者名: T. Yamasaki, T. Matsunami, and T.Chen
  • 雑誌名: IEICE Transactions onInformation and Systems 巻: Vol. E96-D,No.4 ページ: 993-996
• [雑誌論文] Human attribute analysis using a top-view camera based on two-stage classification (2013)
  • 著者名/発表者名: T. Yamasaki, T. Matsunami, and T. Chen
  • 雑誌名: IEICE Transactions on Information and Systems 巻: Vol. E96-D ページ: 993-996
  • 査読あり
• [雑誌論文] Relative-Distance-Based Soft Voting for Human Attribute Analysis using Top-View Images (2013)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: ITE Transactions on Media Technology and Applications 巻: Vol. 1 ページ: 138-147
  • 査読あり
• [雑誌論文] SIFT-based non-blind watermarking robust to non-linear geometrical distortions,” IEICE Transactions on Information and Systems (2013)
  • 著者名/発表者名: T. Yamasaki and K. Aizawa
  • 雑誌名: IEICE Transactions on Information and Systems 巻: Vol.E96-D
  • 査読あり
• [雑誌論文] Classification of Cerebral Lymphomas and Glioblastomas Featuring Luminance Distribution Analysis (2013)
  • 著者名/発表者名: T. Yamasaki, T. Chen, T. Hirai, and R. Murakami
  • 雑誌名: Computational and Mathematical Methods in Medicine 巻: NA
  • 査読あり
• [雑誌論文] Differentiating Cerebral Lymphomas and GBMs Featuring Luminance Distribution Analysis (2013)
  • 著者名/発表者名: T. Yamasaki, T. Chen, M. Yagi, Hirai, and R. Murakami
  • 雑誌名: SPIE medical imaging 巻: NA
  • 査読あり
• [雑誌論文] Beyond Spatial Pyramid Matching: Spatial Soft Voting for Image Classification (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: ACCV2012 Workshop on Intelligent Mobile Vision 巻: NA
  • 査読あり
• [雑誌論文] Classification of Cerebral Lymphoma and Glioblastoma by the Combination of ADC Thresholding and Luminance Distribution Learning (2012)
  • 著者名/発表者名: T. Yamasaki, T. Chen, T. Hirai, and R. Murakami
  • 雑誌名: Proceedings of International Workshop on Pattern Recognition for Healthcare Analytics 巻: NA
  • 査読あり
• [雑誌論文] Confidence-Assisted Classification Result Refinement for Object Recognition Featuring TopN-Exemplar-SVM (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: Proceedings of International Conference on Pattern Recognition (ICPR), USB Proceedings 巻: NA
  • 査読あり
• [雑誌論文] Spatial Statistics for Spatial Pyramid Matching Based Image Recognition (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: Proceedings of APSIPA Annual Summit and Conference 巻: NA
  • 査読あり
• [雑誌論文] Comparative Study of Interactive Seed Generation for Growcut-Based Fast 3D MRI Segmentation (2012)
  • 著者名/発表者名: T. Yamasaki, T. Chen, M. Yagi, T. Hirai, and Murakami
  • 雑誌名: Proceedings of APSIPA Annual Summit and Conference 巻: NA
  • 査読あり
• [雑誌論文] Face Recognition Challenge: Object Recognition Approaches for Human/Avatar Classification (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 雑誌名: Proceedings of 11th International Conference on Machine Learning and Applications 巻: NA
  • 査読あり
• [雑誌論文] GrowCut-Based Fast Tumor Segmentation for 3D Magnetic Resonance Images (2012)
  • 著者名/発表者名: T.Yamasaki, T.Chen, M.Yagi, Hirai, Murakami
  • 雑誌名: Proceedings of SPIE Medical Imaging 巻: (CD-ROM)
  • 査読あり
• [雑誌論文] Relative-Distance-Based Soft Voting for Feature Representation and Its Application to Human Attribute Analysis (2012)
  • 著者名/発表者名: T.Yamasaki
  • 雑誌名: Proceedings of 2012 IEEE International Conference on Acoustics, Speech, and Signal Processing ページ: 1421-1424
  • 査読あり
• [雑誌論文] Depth Video Camera Based Temporal Alpha Matting For Natural 3d Scene Generation (2011)
  • 著者名/発表者名: J.-H.Cho; T.Yamasaki; K.Aizawa; K.H.Lee
  • 雑誌名: Proceedings of 3DTV-Conference 2011 巻: (CD-ROM)
  • 査読あり
• [雑誌論文] Human Attribute Analysis using a Top-View Camera Based on Multi-Stage Classification (2011)
  • 著者名/発表者名: T.Yamasaki, T.Matsunami
  • 雑誌名: Proceedings of 5th ACM/IEEE International Conference on Distributed Smart Cameras 巻: (CD-ROM)
  • 査読あり
• [雑誌論文] Marker-less Human Pose Estimation and Surface Reconstruction Using a Segmented Model (2011)
  • 著者名/発表者名: W.Luo, T.Yamasaki, K.Aizawa
  • 雑誌名: Proceedings of IEEE International Conference on Image Processing 2011 ページ: 901-904
  • 査読あり
• [雑誌論文] Pedestrian Attribute Analysis Using a Top-View Camera in a Public Space (2011)
  • 著者名/発表者名: T.Yamasaki, T.Matsunami
  • 雑誌名: Proceedings of 18th International Conference on MultiMedia Modeling ページ: 541-550
  • 査読あり
• [雑誌論文] GrowCut-Based Fast Tumor Segmentation for 3D Magnetic Resonance Images (2011)
  • 著者名/発表者名: T.Yamasaki
  • 雑誌名: Advanced Electronics and Information System for Quality Life and Society ページ: 541-550
• [雑誌論文] シルエット抽出とモデル生成の相互フィードバックによる Time-Varying Mesh の高精度化 (Time-Varying Mesh Generation Based on Iterative Feedback betweenSilhouette Extraction and Geometry Modeling) (2010)
  • 著者名/発表者名: 山田健太郎, 山崎俊彦, 相澤清晴
  • 雑誌名: 電子情報通信学会論文誌 巻: vol.J93-D, no.8 ページ: 1533-1543
• [雑誌論文] シルエット抽出とモデル生成の相互フィードバックによるTime-Varying Meshの高精度化 (2010)
  • 著者名/発表者名: 山田健太郎, 山崎俊彦, 相澤清晴
  • 雑誌名: 電子情報通信学会論文誌D 巻: vol.J93-D, no,8 ページ: 1533-1543
  • NAID: 110007681690
  • 査読あり
• [雑誌論文] Generation and Processing of Live-Action 3D Mesh Sequences (2010)
  • 著者名/発表者名: T Yamasaki
  • 雑誌名: Microsoft Research Asia Japan Taiwan Academic Forum ページ: 25-30
• [雑誌論文] Approaches to Compression of 3-D Video (2010)
  • 著者名/発表者名: S.-R.Han, T.Yamasaki, K.Aizawa
  • 雑誌名: Proc. Visual Communications and Image Processing 巻: SPIE Vol.7744(掲載確定)
  • 査読あり
• [雑誌論文] Patch-Based Compression for Time-Varying Meshes (2010)
  • 著者名/発表者名: T.Yamasaki, K.Aizawa
  • 雑誌名: 2010 IEEE 17th International Conference on Image Processing ページ: 2945-2928
  • 査読あり
• [雑誌論文] Patch-based Compression for Time-Varying Meshes (2010)
  • 著者名/発表者名: T.Yamasaki, K.Aizawa
  • 雑誌名: GCOE Symposium 巻: (掲載確定)
• [雑誌論文] Bit allocation of vertices and colors for patch-based coding in time-varying meshes (2010)
  • 著者名/発表者名: T.Yamasaki, K.Aizawa
  • 雑誌名: Proceedings of 28th Picture Coding Syxnposium ページ: 162-165
  • 査読あり
• [学会発表] Differentiating Cerebral Lymphomas and GBMs Featuring Luminance Distribution Analysis (2013)
  • 著者名/発表者名: T. Yamasaki, T. Chen, T. Hirai, and R. Murakami
  • 学会等名: SPIE medical imaging
  • 発表場所: Florida, USA
• [学会発表] Beyond Spatial Pyramid Matching: Spatial Soft Voting for Image Classification (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 学会等名: ACCV2012 Workshop on Intelligent Mobile Vision
  • 発表場所: Daejeon, Korea
• [学会発表] Classification of Cerebral Lymphoma and Glioblastoma by the Combination of ADC Thresholding and Luminance Distribution Learning (2012)
  • 著者名/発表者名: T. Yamasaki, T. Chen, T. Hirai, and R. Murakami
  • 学会等名: International Workshop on Pattern Recognition for Healthcare Analytics
  • 発表場所: Tsukuba, Japan
• [学会発表] Confidence-Assisted Classification Result Refinement for Object Recognition Featuring TopN-Exemplar-SVM (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 学会等名: International Conference on Pattern Recognition
  • 発表場所: Tsukuba, Japan
• [学会発表] Spatial Statistics for Spatial Pyramid Matching Based Image Recognition (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 学会等名: APSIPA Annual Summit and Conference
  • 発表場所: Hollywood, USA
• [学会発表] Comparative Study of Interactive Seed Generation for Growcut-Based Fast 3D MRI Segmentation (2012)
  • 著者名/発表者名: T. Yamasaki, T. Chen, M. Yagi, T. Hirai, and R. Murakami
  • 学会等名: APSIPA Annual Summit and Conference
  • 発表場所: Hollywood, USA
• [学会発表] Face Recognition Challenge: Object Recognition Approaches for Human/Avatar Classification (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 学会等名: 11th International Conference on Machine Learning and Applications
  • 発表場所: Florida, USA
• [学会発表] Feature Representation Featuring Spatial Statistics and Confidence-Assisted Classification for Better Object Recognition (2012)
  • 著者名/発表者名: T. Yamasaki and T. Chen
  • 学会等名: 2nd Multimedia and Vision Meeting in the Greater New York Area
  • 発表場所: NY, USA
• [学会発表] Pedestrian Attribute Analysis Using a Top-View Camera in a Public Space (2012)
  • 著者名/発表者名: T.Yamasaki, T.Matsunami
  • 学会等名: 18th International Conference on MultiMedia Modeling
  • 発表場所: Klagenfurt, Austria
• [学会発表] GrowCut-Based Fast Tumor Segmentation for 3D Magnetic Resonance Images (2012)
  • 著者名/発表者名: T.Yamasaki
  • 学会等名: Advanced Electronics and Information System for Quality Life and Society
  • 発表場所: Tokyo, Japan
• [学会発表] GrowCut-Based Fast Tumor Segmentation for 3D Magnetic Resonance Images (2012)
  • 著者名/発表者名: T.Yamasaki, T.Chen, M.Yagi, Hirai, Murakami
  • 学会等名: SPIE Medical Imaging
  • 発表場所: San Diego, USA
• [学会発表] Relative-Distance-Based Soft Voting for Feature Representation and Its Application to Human Attribute Analysis (2012)
  • 著者名/発表者名: T.Yamasaki
  • 学会等名: 2012 IEEE International Conference on Acoustics, Speech, and Signal Processing
  • 発表場所: Kyoto, Japan
• [学会発表] Marker-less Human Pose Estimationand Surface Reconstruction Using aSegmented Model (2011)
  • 著者名/発表者名: W. Luo, T. Yamasaki, and K. Aizawa,
  • 学会等名: Proceedings of IEEEInternational Conference on Image Processing
  • 発表場所: Brussels,Belgium
• [学会発表] Depth Video Camera Based Temporal Alpha Matting For Natural 3d Scene Generation (2011)
  • 著者名/発表者名: J.-H.Cho; T.Yamasaki; K.Aizawa; K.H.Lee
  • 学会等名: 3DTV-Conference 2011
  • 発表場所: Antalya, Turkey
• [学会発表] Human Attribute Analysis using a Top-View Camera Based on Multi-Stage Classification (2011)
  • 著者名/発表者名: T.Yamasaki, T.Matsunami
  • 学会等名: 5th ACM/IEEE International Conference on Distributed Smart Cameras
  • 発表場所: Ghent, Belgium
• [学会発表] Marker-less Human Pose Estimation and Surface Reconstruction Using a Segmented Model (2011)
  • 著者名/発表者名: W.Luo, T.Yamasaki, K.Aizawa
  • 学会等名: IEEE International Conference on Image Processing 2011
  • 発表場所: Brussels, Belgium
• [学会発表] 動き情報を用いた多視点画像から3D形状復元手法 (2011)
  • 著者名/発表者名: ビウェイ・山崎俊彦・相澤清晴
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 東京
• [学会発表] Marker-less Pose Estimation for Fast Human Motion Clips (2011)
  • 著者名/発表者名: W.Lua, T.Yamasaki, K.Aizawa
  • 学会等名: 電子情報通信学会総合大会
  • 発表場所: 東京
• [学会発表] 実写3次元映像の生成と処理 (2010)
  • 著者名/発表者名: 山崎俊彦
  • 学会等名: 機械学会ロボメカ部門地区特別講演会
  • 発表場所: 東北大学
  • 年月日: 2010-09-17
• [学会発表] 携帯端末のための3次元コンテンツ処理 (2010)
  • 著者名/発表者名: 山崎俊彦
  • 学会等名: 画像電子学会Advanced Image Seminar 2010
  • 発表場所: 日本科学未来館
  • 年月日: 2010-04-21
• [学会発表] 3D pose estimation in high dimensionalsearch spaces with local memorization (2010)
  • 著者名/発表者名: W. Luo, T. Yamasaki, and K. Aizawa,
  • 学会等名: Proceedings of 28th Picture CodingSymposium (PCS2010)
  • 発表場所: Nagoya,Aichi
• [学会発表] Bit allocationofverticesandcolorsforpatch-basedcoding in time-varyingmeshes (2010)
  • 著者名/発表者名: T. Yamasaki and K. Aizawa
  • 学会等名: Proceedingsof28th PictureCodingSymposium (PCS2010)
  • 発表場所: Nagoya, Aichi
• [学会発表] Automatic Preview Video GenerationFor Mesh Sequences (2010)
  • 著者名/発表者名: S.R. Han, T. Yamasaki and K. Aizawa,
  • 学会等名: 2010 IEEE 17thInternational Conference on Image Processing(ICIP2010)
  • 発表場所: HongKong,China
• [学会発表] Patch-Based Compression for Time-Varying Meshes (2010)
  • 著者名/発表者名: T. Yamasaki and K. Aizawa,
  • 学会等名: 2010 IEEE 17thInternational Conference on Image Processing(ICIP2010)
  • 発表場所: HongKong,China
• [学会発表] Deformation-Based CompressionofTime-VaryingMeshesfor Displayingon Mobile Terminals (2010)
  • 著者名/発表者名: S. Nakagawa, T. Yamasaki, and K.Aizawa
  • 学会等名: 3DTVConference2010(3DTV-Con2010),USBProceedings
  • 発表場所: Tampere,Finland
• [学会発表] 写実的レンダリングに向けたTime-Varying Meshの表面属性推定 (2010)
  • 著者名/発表者名: 畢微, 山崎俊彦, 相澤清晴
  • 学会等名: 第9回情報科学技術フォーラム
  • 発表場所: 九州大学
• [図書] Modelingand Simulationin Engineering,InTech,editor:CatalinAlexandru, Chapter7 (2012)
  • 著者名/発表者名: T. Yamasaki and K. Aizawa
  • 出版者: RefinementofVisualHullsforHumanPerformanceCapture,"
• [図書] Modeling and Simulation in Engineering(第7章を執筆) (2012)
  • 著者名/発表者名: T.Yamasaki, K.Aizawa
  • 総ページ数: 298
  • 出版者: InTech
• [備考]
  • URL: http://www.hal.t.u-tokyo.ac.jp/ja/index.html
• [備考]
  • URL: http://www.hal.t.u-tokyo.ac.jp/ja/index.html
• [備考]
  • URL: http://www.hal.t.u-tokyo.ac.jp/ja/index.html
• [産業財産権] 3 次元動画像の圧縮に用いる基本単位 (2012)
  • 発明者名: 山崎俊彦、相澤清晴
  • 権利者名: 山崎俊彦、相澤清晴
  • 公開番号: 2012-068881
  • 取得年月日: 2012-04-05
  • 外国
• [産業財産権] 特許 (2010)
  • 発明者名: 山崎俊彦、相澤清晴
  • 権利者名: 山崎俊彦、相澤清晴
  • 産業財産権番号: 2010-122837
  • 出願年月日: 2010-09-22