2018 Fiscal Year Research-status Report
Wearable markers for high-speed tracking of dynamic fingers
| Project/Area Number |
18K18089
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
末石 智大 東京大学, 大学院情報理工学系研究科, 特任助教 (80807842)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 再帰性反射 / マーカー / 高速ビジョン / 高速画像処理 / トラッキング / 姿勢推定 / ジェスチャー認識 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，広範囲を動き回る人間の手指の状態を高速に，特に低レイテンシで画像計測するための，手指へのアクセサリ等による装着型マーカーの実現であり，プロジェクションマッピングを含む人間の作業支援や動作改善，機械との協調動作等の応用を意識したものである．特に本年度は腕輪・指輪型マーカーに着目し，その基礎検討を行った．
人間の手指に取り付けるマーカーに向けて，長期間の装着が苦にならないものとして腕輪・指輪などとして成立しているリングに着目した．過剰な凹凸形状は装着性や画像処理による姿勢推定の弊害になりやすいため，なるべく平面に近い構造を有する立体形状として，2つの斜面から成る立体形状を選択した．また，高速画像処理における低S/N比を解決する手段である同軸照明と再帰反射の特性を考慮し，適切な斜面の傾斜角度をシミュレーションに基づき決定した．また，1ms以下での高速姿勢推定を目指し，画像処理のしやすいドットマーカーをリング立体形状に埋め込む適切な個数も検討した．
リングマーカーとしての立体形状の設計論だけでなく，画像処理アルゴリズムとしても対象表面上の法線方向と再帰反射特性を考慮した姿勢推定手法を実装した．シミュレーション及び3Dプリントによる実機における腕輪形状に対しても十分な精度の姿勢推定が実現できることが確認できた．
これらの基礎検討は人間に向けた装着性の高い立体形状，高速カメラに向けた検出しやすい再帰性反射特性，1ms以下でのソフトウェア処理に向けたドットマーカー，姿勢推定におけるPnP問題といった諸々の問題に対する適切な折衷解の一つを導き出したと言える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
再帰性反射をシミュレーション上で再現して検討が進められたことと，3Dプリントを利用して造形した物体で同様の姿勢推定に関する性能が確認できたことから，実装面におけるマーカー開発研究の下地が整いつつある．また三次元スキャナを導入したことにより，リング形状と比較して既知の三次元形状データとして扱いにくかった爪形状についても検討が進めることができている．
サーベイについても，指輪型マーカーを含めたジェスチャー認識に関する関連研究の調査が進展した．高速光軸制御に基づく継続的高解像度画像計測の考え方に依拠した，細かなテクスチャのある装着型マーカーの進歩性が，十分にあることが確認できている．
以上を総合的に踏まえ，現在までの進捗状況はおおむね順調に進展していると言える．
|
| Strategy for Future Research Activity |
腕輪・指輪型のマーカーを高度化していく予定である．実際の1msでのリアルタイム高速姿勢推定を実装し，高速性及び遮蔽頑健性についてマーカーの配置問題や形状の更なる最適化問題も踏まえて検討していく．3Dプリントにより造形した腕輪・指輪構造を実際の人体に上手く装着する方法（リング形状の分割等）も模索する．
また，爪型マーカーに関してもリング形状マーカーと同様に，シミュレーション及び3Dプリントによる実形状ベースでの検討を進めていく予定である．リング形状と比較して異なる人・指で異なる爪形状を有していることを積極的に利用した画像計測・姿勢推定などの手法を開拓していく．
そして手の状態自体の計測についても，複数のマーカー連携に基づく推定可能性を模索する．特に既製品であるLeap Motion等によるジェスチャー認識と実機ベースで性能を比較しながら検討を深めていく予定である．
|
| Causes of Carryover |
研究室の既存の高速カメラである程度研究遂行が実現できそうであったため，当初購入を検討していた高額な高速高解像度カメラの購入を取りやめた．また，腕輪・指輪型マーカーだけでなく爪型マーカーに関する研究を促進させるために，高速高解像度カメラ用であった費用を三次元スキャナに充てた．この三次元スキャナの方が高速高解像度カメラよりも低価格であったことと，試作用の3Dプリントの費用が想定よりも安かったことにより，次年度使用額が生じたこととなる．
使用計画としては既存のジェスチャー認識装置との差別化を明確にするため，それらの機器の購入や，3Dプリントを用いた試作検討用費用の拡大，そして学会出張を含む関連研究調査に充てる予定である．
|
