多重センサー情報の統合による3次元形状自動モデリング

2003 年度 実績報告書

• 研究課題/領域番号: 15500100
• 研究機関: 東京工業大学
• 研究代表者: 熊澤 逸夫 東京工業大学, 大学院・理工学研究科, 教授 (70186469)
• キーワード: 3次元形状モデリング / Shape from Shading / 多視点画像 / ニューラルネットワーク / 照明条件 / Simulated Annealing / 勾配法 / 誤差逆伝搬法

研究概要

3次元形状表現に適するニューラルネットワークを新規に開発し、対象物体の3次元形状モデルを自動構築する方式を開発した。まずShape from Shadingの手法を用いて、白色光を対象表面に照射した際に得られる光の反射強度を用いて各視点から対象物体表面まで3次元距離情報を粗く推定する。こうして得られる対象表面の形状には表面の反射特性が不均一であることや影の影響により通常大きな誤差が伴う。しかしながら本研究で開発した方式では多視点から距離情報と画像情報が得られるので、形状モデルと観測画像が与える形状情報が各視点から見て一致するように形状モデルを逐次修正することによって、形状モデルの精度を向上できる。この作業は誤差逆伝搬法を改良したアルゴリズムによってニューラルネットワークに勾配法を適用して実行する。上述したように各視点から個別に得られる初期形状は誤差を含む反射強度から推定するため精度が低く、目的形状の概形として与えられる。各視点から見た形状はこのモデルを同じ視点から見たときの形状と異なるので、これが一致するように形状を逐次修正してゆく。その結果、形状モデルの精度が向上することを実験的に検証した。具体的には対象形状として人の顔を扱い、3点から白色光を照射し、その反射強度を各視点においてCCDカメラで計測する多視点計測システムを導入して実験を行った。照明条件を最適化し、逐次修正アルゴリズムに慣性項を導入し、シミュレイティッドアニーリング法を利用した結果、人の顔の3次元形状モデルを3視点からの計測画像を用いて良好に再構成することに成功した。

研究成果

• [文献書誌] Fanany, M.I., Kumazawa, I: "A Neural Network for Recovering 3D Shape from Erroneous and Few Depth Maps"Pattern Recognition Letters. 25・4. 377-389 (2004)
• [文献書誌] Fanany, M.I., Kumazawa, I.: "Multiple-View Shape Extraction from Shading as Local Regression by Analytic NN Scheme"Mathematical and Computer Modeling Journal. (採録決定).
• [文献書誌] Fanany, M.I., Kumazawa, I.: "SA-Optimized of Multiple-View Smooth Polyhedron Representation NN"Proceedings of 6^<th> International Conference on Discovery Science. Springer LNA I 2843. 306-310 (2003)
• [文献書誌] Fanany, M.I., Kumazawa, I.: "A New NN for Multiple-View Shape-from-Shading"Artificial Neural Network in Pattern Recognition. ANNPR 2003. 114-119 (2003)
• [文献書誌] Fanany, M.I., Kumazawa, I.: "SA-Optimized Hierarchical 3D reconstruction NN"Proceeding of the Twelfth IASTED International Conference on Applied and Simulation Modelling. ASM 2003. 495-500 (2003)