多焦点画像に基づく視覚効果生成手法の体系化とその応用

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13450150
• Research Institution: The University of Tokyo
• Principal Investigator: 相澤 清晴 東京大学, 大学院・新領域創成科学研究科, 教授 (20192453)
• Co-Investigator(Kenkyū-buntansha): 児玉 和也 国立情報学研究所, 情報基盤研究系, 助手 (80321579) ; 小檜山 賢ニ 慶応義塾大学, 政策メディア研究科, 教授 (00306888)
• Keywords: 焦点 / ぼけ / 視覚効果 / イメージベーストレンダリング / 動きぼけ / イメージフュージョン / 仮想視点画像

Research Abstract

映像分野におけるポストプロダクションシステムの導入や一般ユーザへのディジタルカメラ等の普及により、デスクトップ上での映像編集・映像合成処理(視覚効果処理)が発展しつつある。実写画像の処理により現実のカメラでは撮像困難な画像を生成することが可能であり、そのような画像生成手法は、映像に一層のリアリティを求めるコンピュータグラフィックスや人工現実感にとって極めて大きな効果を有する。
画像中のオブジェクト(物体)に対して様々な特殊視覚効果を施すためには、通常、オブジェクトを画像から領域分割し、オブジェクト毎に必要とする処理を施し、画像を生成する手続きが必要となる。しかしながら、領域分割は十分精度を有する手法がなく、このことが処理の自動化を困難にしている。これに対して、申請者らは、領域分割を行わずにオブジェクトに、特殊効果を施すことができる手法を提案、検討している。その手法では同一のシーンに対する複数の焦点画像(多焦点画像)を用い、それらの線形処理だけで所望の効果を生成できる。本年度の成果を以下にまとめる。
・視覚効果生成のための多焦点画像処理の体系化。
線形逆フィルタに基づく視覚効果処理の手法を明らかとし、任意の焦点ぼけ、位相シフト、動きぼけ、部分的な強調処理などの効果を与えることができることを示した。
・レジストレーションなどの前処理の自動化
複数の画像を混ぜ合わせるために、それらの画像の大きさ、位置の調整、輝度の不釣合いの補正などが前処理として必要となる。これらの前処理のパラメータを工夫し、自動的に必要なあわせ込みを行った。
・イメージベースレンダリングによる仮想視点画像生成への応用
カメラアレイにより撮像された多眼画像に対して、それぞれ2つの焦点での撮像を行い、提案手法を適用した。位相シフトにより、前景、背景で異なる移動を与え、適度な補間を行うことにより、より自然な仮想視点画像を生成することができることを示した。

Research Products

• [Publications] 椿, 久保田, 相澤: "多数の昆虫顕微鏡画像からの全焦点画像と3次元画像の生成"映像情報メディア学会誌. 56.2. 263-270 (2002)
• [Publications] A.Kubota, K.Aizawa: "Virtual View Generation by Linear Processing of Two Differently Focused Images"ACM SIGGRAPH2002, Sketches and Application. 279 (2002)
• [Publications] A.Kubota, K.Aizawa: "Virtual view generation by linear processing of two differently focused images"Int. Conf. Pattern Recognition (ICPR2002). III.2 (2002)
• [Publications] A.Kubota, K.Aizawa: "Arbitrary view and focus image generation : Rendering object-based shifting and focssing effect by linear filtering"IEEE Int. Conf. Image Processing (ICIP2002). I. 489-492 (2002)
• [Publications] 久保田, 相澤: "多焦点ステレオ画像の線形処理による視点と焦点の内挿"画像符号化・映像メディア処理シンポジウム(PCSJ・IMPS2002). 85-86 (2002)
• [Publications] 久保田, 相澤: "多視点・焦点画像の線形フィルタリングによる任意視点焦点画像の生成"電子情報通信学会 画像工学研究会. IE189 35-IE189 40 (2002)
• [Publications] T, Ichikawa, K.Aizawa, T.Saito他: "Three-Dimensional Television, Video, and Display Technologies (chap 10)"Spinger. 495 (2002)