2019 Fiscal Year Research-status Report

Super-resolution Restoration of Depth and Image Based on Camera Motion Simulating Fixational Eye Movement

Research Project

Project/Area Number	19K12046
Research Institution	Tokyo Metropolitan University
Principal Investigator	田川憲男首都大学東京, システムデザイン研究科, 教授 (00244418)
Project Period (FY)	2019-04-01 – 2022-03-31
Keywords	輝度勾配法 / 反復レジストレーション / 特徴点対応 / トレモア / マイクロサッカード
Outline of Annual Research Achievements	本年度はまず、本研究の要素技術である「連続する2枚の画像からの奥行復元アルゴリズム」についての詳細確認を行った。このアルゴリズムはこれまでに、様々な条件に応じて多くの提案がなされている。固視微動を想定する場合、画像間の動きは小さいため、我々はこれまで、動き前後での輝度値不変性を一次近似で解く輝度勾配法をベースとしてきたが、その解の精度は不十分であった。そこで、一次近似解を使った反復レジストレーションによって、精度の向上を試みた。しかしながら、期待した結果は得られず、少なくとも動きの小さい場合のレジストレーションの効果は少ないことがわかった。上記は、固視微動の中のトレモアと呼ばれる微小眼球運動に対する処理である。一方、マイクロサッカードと呼ばれる瞬間的で大きな眼球運動に対する処理も考慮しなければならない。その場合は、輝度値ベースでの対応付けではエイリアス問題（似た輝度パターンをもつ位置との偽対応の発生）が避けられないため、特徴点対応を基礎とすることになる。今回はその一例として、人の姿勢の3次元復元を取り上げ、OpenPoseと呼ばれる人関節検出アルゴリズム（オープンソース）を活用し、関節点を特徴点（キーポイント）とする奥行復元を試行した。OpenPoseによれば、関節の区別が可能であるため、一人の人の復元であれば関節位置の画像（視点）間での対応付けは不要（既に完了している）だが、複数人を対象とする場合は「人の対応付け」が必要になる。今回は、そのためのアルゴリズムをいくつか提案し、それらの性能評価を行った。その結果、複数の視点ペアのそれぞれに対して、可能な対応付けによって3次元座標を復元したのち、視点ペア間の整合性を3次元座標の一致性によって判断する方法が安定（人と視点との配置関係に影響を受けにくい）ことを明らかにした。
Current Status of Research Progress	Current Status of Research Progress 4: Progress in research has been delayed. Reason トレモアに対する復元処理の精度向上が達成できなかった。まず、これが達成できないと、次段に続く画像と奥行の超解像処理に進むことができないため、研究全体に大きな遅れが生じている。計算量を考慮し、多重解像度処理（２フレームに対して既に我々が提案している手法がある）を避けていることが要因と考えている。固視微動を扱うことで、多数枚の画像情報が利用できることから、２枚の画像からの精度は低くてもよいと考えていたが、やはりまずは２枚でどこまでの精度を出せるかを確認することは重要と考えている。
Strategy for Future Research Activity	上記理由にも書いたように、多重解像度処理を組み込むことが、次年度の第一の目標である。これまでの我々の多重解像度手法は、２枚の画像のみを対象に、解像度方向に奥行情報伝搬を行うものであるが、今回はそれを時間方向（画像枚数方向）にも行う固視微動に特化したアルゴリズムの開発を目指す。そして、その復元結果を反復的に利用する超解像手法を検討する。さらに、その手法にマイクロサッカードによって得られる情報を適切に組み入れることで、オクルージョンを避けながら、奥行や輝度値の不連続にも対処可能な方法へと発展させる計画である。
Causes of Carryover	当初、高性能計算機の購入により、超解像アルゴリズムの実験的検証を高効率で進める計画であったが、研究の進展が遅れたこと、及び交付額での購入が難しかったことから、次年度使用額が生じた。次年度はこの額も含めて研究計画を立て、可能であれば改めて、高性能計算機の購入を検討したい。