研究課題
指使いと物体の見えの関連性を事例から学習する枠組みを提案し、既知の物体クラスではあるが個体としては初見の物体の見えを与えると、その物体の機能的クラスを推定し、把持する際に手指がその物体に対してどのようにアプローチするかを想起することが可能であることを実験的に示した。まず日常の映像から指使いと物体の見えの関連性を学習するサンプル画像を自動収集するために、複数の局所的手指画像特徴を組合せたJoint特徴をHough Forest法で投票することにより手首の基準位置を推定する手法、さらに手首位置と手指特徴をもとにその把持パタンの場合に被把持物体が存在する領域を推定して切り出す手法を開発した。収集された学習サンプル（カップやハサミなどを対象）をもとに、物体を把持するインタラクション状態を表現する把持状態空間表現をSparse Stacked Convolutional Autoencoderによるクラスタリングを応用して獲得した。得られた把持状態空間表現と物体単独の見えとの関連をConvolutional Neural Networkを用いて学習することで初見の物体の見えだけからその把持状態を画像領域の形で想起できることを確認した。また手術における糸結び手技のプロセスを深度センサとRGBセンサから得られた時系列からモデリングし、途中に未知の揺れ動作が挿入された場合に備えて未知フレームへのパスを導入した動的計画法による照合方法を開発し、数種類の糸結び動作を別人物間で照合し時空間的に照合できない部分を指摘できることを示した。これによる糸結び訓練システムの試作に向けてモデルと入力系列の照合のロバストネスを向上させることが課題として残った。
すべて 2015 2014
すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (11件)
Multimodal Pattern Recognition of Social Signals in Human-Computer-Interaction, Lecture Notes in Computer Science
巻: 8869 ページ: 3,14
