|
本研究の目的である3次元的な形状を扱うために，2020年度は3次元形状推定に必要な技術である特徴点マッチングの教師なし学習に取り組んだ．画像から3次元形状推定を行う方法の1つとして，対象物体を複数カメラで撮影した画像間で対応点を見つける多視点ステレオ法がある．対応点を見つけるためには特徴的な点を特徴量ベクトルを用いて記述する必要があるが，従来はhand-crafted特徴量が用いられることが多かった．近年は高精度は対応点探索のために深層学習を用いた特徴量ベクトルの記述手法も提案されているが，大量の教師データを集める必要があることが課題である．そこで本研究では，cycle-consistencyを考慮することで教師データ無しで深層学習における対応点探索のための特徴量ベクトルの学習手法を提案した．例えば入力画像が2枚の場合，画像A上の点から画像B上の点に対して対応点を探索し，また画像B上から画像A上に対応点を探索した場合，対応をたどると画像Aの元の点に戻るべきだという性質を利用した学習方法である．実験では2枚の画像から奥行きを推定するステレオマッチングに応用し，制度の面でhand-craftedな特徴量を大きく上回る性能を示し，2枚の画像のスペクトルが異なる場合（クロススペクトルマッチング）においても優れた性能を発揮することを確認した．本研究の成果はパターン認識の旗艦国際会議であるInternational Conference on Pattern Recognition (ICPR2020)に採択された．
|
