2018 Fiscal Year Annual Research Report
Emergent process modeling of fingering and hard-and-soft object handling based on visual-haptic fusion
| Project/Area Number |
18H03313
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
李 周浩 立命館大学, 情報理工学部, 教授 (80366434)
松尾 直志 立命館大学, 情報理工学部, 助教 (80449545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | プロセスモデル / 多指ハンド / 視触覚統合 / 動作生成 |
|---|
| Outline of Annual Research Achievements |
深層学習を援用して人による物体操作プロセスの正例画像列から動作と物体変化のプロセスモデルを生成する手法を、一人称視点画像列に拡張した。人の物体操作(木箱をあけてものを入れ閉める)の正例画像を画像センサおよび深度センサを用いて収集し、現時刻のシーン画像とゴールシーンを入力に動作列を生成するモデルと、現時刻シーンと次時刻の動作を入力として次時刻のシーンを生成するモデルの２つを訓練した。その結果、概ね適切な動作の予測ができ、かつ途中で失敗があってシーンが期待通りに変遷しなかった（箱の蓋が開かなかった）場合に、自動的に手戻りして再度必要な操作を繰り返す動作を生成することが確認できた。しかし、訓練に用いた画像が人の動作を観察した映像であるため、人体領域を手がかりに次の動作生成をしている可能性が考えられた。そこで、生成に使える画像領域の面積をマスクによって意図的に制限し、小領域内の情報だけから出力を生成するように強制する損失関数を構成した。このときどこを注視するかのマスクは入力だけから適応的に深層ネットが生成するようにした。予備実験として、人工的な複雑背景下における小図形の向きを回帰するという課題において試験したところ、小図形がどんなテクスチャでどの位置にあるかということを教師信号として示さずとも、図形が存在する領域に自発的に着目して推定を行う機能が創発されることが確認できた。
また、自然な生活環境下で人が物体を扱うシーン画像を収集するために、既存のシーン変遷ロギングシステムを用いた。サンプリングレートを向上するためにVGAサイズの低解像度画像しか処理・保存できなかったが、それでは手指スケルトンの計測ライブラリであるOpenPoseで正確に手指姿勢が検知できないため、10GのLANを使って２K高解像度画像を15FPSで記録し、処理のオーバヘッドを見直してパフォーマンスを大幅改善した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
既存のロボットアームの制御にブレがありそれを解決しないと精密な物体操作をシミュレートできないことがわかったこと、また既存のロボットハンドについてもROSプラットフォーム経由でのアームとの統合制御の実装に時間がかかったことから、３軸力センサーを指先に装着する実装が間に合わなかった。すでに新しい精密制御可能な６軸ロボットアームと３指ハンドを調達しており、これらを組み合わせて１９年度早々に実装を開始する予定である。
|
| Strategy for Future Research Activity |
前年度に引き続き、箱を開けてものを入れる手順のプロセスモデリングの研究を進める。前年度は一人称視点画像で手元を拡大するとOpenPoseライブラリの仕様上手指骨格を推定できなかったが、前年度中にこの改良を独自に施したので、今年度は一人称視点、具体的にはロボットの頭部カメラないしはその後方から深度センサによって撮影したRGBD画像を用いて訓練画像を撮影する。
前年度コンセプトとして有効性を確認した「回帰学習時における注視領域の自発的獲得」について、さらにスケールや形などの教師信号だけから注目領域がマスクの形で特定できるのかどうか、さらに箱を開けてものを入れる動作生成を出力としたときに有効な領域を特定できるのかどうか実験を行う。このとき自分の体（ロボットにとっては自己のハンドアーム）の領域を除外することをどう自発的に学ばせるかが課題となるが、これについては人体スケルトンの検出結果を用いて自己認識させる枠組みを念頭に検討する。
シーン変遷ロギングシステムで収集した物体操作の様子を用いて、物体の形状（RGBD画像）と手指の姿勢の共起性をモデリングする。ハンドル付きコップのような掴む場所が複数ある場合に、学習しながら自動的に複数の選択肢をクラスタリングしつつモデリングする手法を引き続き研究する。
前年度に試作した小型3軸力覚センサを前年度末に調達したハンド指先に装着してセンサーデータを制御PCから取り込めるように電子工作を施す。箱や柔らかい物体を実際に掴む動作をさせ、指先にかかっている力とその方向ならびに、物体に指先がどのくらい近接しているか、がうまく計測できるか、どのような観測値が得られるかを定量的に調べる。この時手指の三次元位置姿勢はモータ側のセンサ情報によりわかっているので、それを用いて空間中のどこにどの向きの反力があるのか、計算により求める手法を検討する。
|
