顔画像の知的符号化による高次コミュニケーションの基礎研究

1989 Fiscal Year Annual Research Report

• Project/Area Number: 01633002
• Research Institution: The University of Tokyo
• Principal Investigator: 原島 博 東京大学, 工学部, 助教授 (60011201)
• Co-Investigator(Kenkyū-buntansha): 相沢 清晴 東京大学, 工学部, 講師 (20192453) ; 森島 繁生 成蹊大学, 工学部, 助教授 (10200411) ; 斎藤 隆弘 神奈川大学, 工学部, 助教授 (10150749)
• Keywords: 知的通信 / 知的画像符号化 / 構造モデル / 顔面表情の分析合成 / メディア変換

Research Abstract

本研究は、知的画像符号化の開発を通じて、将来の知的通信や知的マンマシンインタフェースの基盤となる高次コミュニケーション技術を確立することを目的としている。本年度は、人物顔画像を対象とした知的画像符号化のキーテクノロジーである次の項目について検討した。
1.動画像からの3次元構造情報の自動抽出に関する検討
知的画像符号化において汎用的な符号器を実現するには、予めモデルを用意するのではなく、動画像そのものから3次元構造情報が自動的に抽出できることが望ましい。ここでは、次の2通りの手法を検討した。
(1)単眼動画像からの3次元構造・運動推定
(2)ステレオ動画像からの3次元構造・運動推定
2.顔画像の表情パラメータの抽出ならびに表情合成の検討
顔画像の知的符号化方式における顔面表情の分析と合成手法として、次の2通りのアプローチを検討した。
(1)FACSに基づく表情分析・合成手法の検討
(2)中割りに基づく表情分析・合成手法の検討
3.音声・テキスト情報からの口唇画像の合成に関する検討
知的画像符号化におけるメディア変換の一例として、音声およびテキスト情報から受信側において口唇画像を合成する手法を開発した。さらに、この手法と2.で述べた顔面表情の合成法を組み合わせることにより、よりリアルな顔画像を合成することを試みた。

Research Products

• [Publications] 相沢清晴: "構造モデルを用いた画像の分析合成符号化方式" 電子情報通信学会論文誌. J72ーBー1. 200-207 (1989)
• [Publications] Morishima,S.: "An intelligent facial image coding driver by speech and phoneme" ICASSP'89. 3. 1795-1798 (1989)
• [Publications] Harashima,H.: "Model-based analysis synthesis coding of videotelephone images-conception and basic study of intelligent image coding-" The Trans.of IEICE. E72. 452-459 (1989)
• [Publications] 原島博: "知的通信と知的符号化" 日本音響学会誌. 45. 534-540 (1989)
• [Publications] Aizawa,K.: "Analysis and synthesis of facial images in a model-based coding system" Znd International Workshop on 64kbit/s Coding of Moving Video. (1989)
• [Publications] Aizawa,K.: "Model-based analysis synthesis image coding system for a person's face" Signal Processing:IMAGE COMMUNICATION. 1. 139-152 (1989)