奥行き情報を持った自然情景動画像の獲得と合成

1998 年度 実績報告書

• 研究課題/領域番号: 09650402
• 研究機関: 東京工業大学
• 研究代表者: 長橋 宏 東京工業大学, 工学部, 教授 (20143084)
• キーワード: 奥行き情報 / 多視点画像 / 鏡面画像 / 画像合成

研究概要

本年度は、3次元情報や奥行き情報に基づく画像の合成を目的として、複数の画像撮影環境を考え、それぞれの撮影環境下における画像の合成法について研究を行った。
初めに、多視点からの撮影環境における奥行き情報の獲得と、それに基づく画像の合成法について検討を行った。この方法では、ブロックマッチングに基づいて視差を検出し、物体の面に関する仮定と水平および垂直走査に基づく面としての検証を行なうことで面領域の奥行き情報を得る。シミュレーション実験を行った結果、前景と背景の実時間分離に有効であり、背景の変更等に利用可能であることが確認された。また、切り出された前景物体のデータベース化において、画像の合成を効果的に行うのに必要な情報についても検討を行った。そして、動きに基づく背景画像のボヤケ効果や背景の明るさにマッチするための物体のテクスチャ全体の明るさ変換の手法を提案した。続いて、予めキャリブレーションされた複数台のカメラによる多視点動画像を用いて、動物体のボリュームデータを計測し、そのデータに基づいて3次元動き情報を獲得する方法を開発した。テクスチャ情報をボリュームデー夕表面に張り付けておくことで、背景画像との合成を行うことが可能であることも明らかにした。
一方、単眼視画像でも、ある環境下においては奥行き情報として利用可能な情報が得られる。その1つの例として、本研究では鏡を利用する方法を開発した。自然情景中に置かれた実物体と、その後ろに置かれた鏡に写る鏡面像との位置関係から、エピポーラ幾何学に基づいて撮影環境情報を獲得し、その環境下で仮想的な物体を動かし、鏡面上にその仮想物体の反射像を3次元的に生成することで画像の合成を行うアニメーション作成システムを開発した。このようなシステムは、特殊な環境設定ではあるが、様々な画像合成手法の一つになると期待される。

研究成果

• [文献書誌] 山口 真紀: "画像合成のための補間と補正による奥行き情報取得の一手法" 電子情報通信学会総合大会講演論文集(1998). D-11-197. 197-197 (1998)
• [文献書誌] 米田 知則: "樹木ボリュームへの曲面当てはめ" 1998年電子情報通信学会総合大会講演論文集. D-12-107. 306-306 (1998)
• [文献書誌] 井上 英輝: "多視点動画像を用いた人体の姿勢のモデリング" 1998年電子情報通信学会総合大会講演論文集. D-12-154. 353-353 (1998)
• [文献書誌] 早川 知伸: "テクスチャの逆投影による3次元形状の復元-第2報-" 1998年電子情報通信学会総合大会講演論文集. D-12-176. 375-375 (1998)
• [文献書誌] 永江 孝規: "シルエット逆投影による多階調遮蔽包の計測" 映像情報メディア学会誌. 52,4. 612-622 (1998)
• [文献書誌] 岩田 治幸: "ニューラルネットワークの学習とエネルギー極小化による動的領域抽出" 映像情報メディア学会誌. 52,7. 1048-1054 (1998)
• [文献書誌] 菅野 恒雄: "ニューラルネットワークによる男女顔特徴抽出" 電子情報通信学会論文誌D-II. J81-DII,11. 2645-2652 (1998)
• [文献書誌] 相馬 俊一: "多視点動画像を用いた腕の動きのモデリングに関する研究" 情報処理学会研究報告 CVIM. 99-114. 41-47 (1999)
• [文献書誌] Solange Kashivaque: "A Study of Weak Calibration at the Mirror Surface" 1999年電子情報通信学会総合大会講演論文集. (発表予定). (1999)