2019 Fiscal Year Annual Research Report
Emergent process modeling of fingering and hard-and-soft object handling based on visual-haptic fusion
| Project/Area Number |
18H03313
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
野間 春生 立命館大学, 情報理工学部, 教授 (00374108)
李 周浩 立命館大学, 情報理工学部, 教授 (80366434)
松尾 直志 立命館大学, 情報理工学部, 助教 (80449545)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | プロセスモデル / 多指ハンド / 視触覚統合 / 動作生成 |
|---|
| Outline of Annual Research Achievements |
一人称視点、具体的にはロボットの頭部に装着したRGBDセンサーで撮影した映像から操作物体にアクセスする手指の姿勢を推定することを想定して、RGBDセンサーを搭載したヘルメットを自作しそれを装着した被験者にカップやペン、ボールなどの物体を机上で操作したときの様子を画像データとして収集した。前年度改良した深層学習による骨格抽出モジュールを用いて一人称視点で手先以外が見切れている画像から手指の骨格情報を抽出し対応関係を学習することを試みたが、訓練サンプル数が限定的であったため過学習が生じ所定の性能が得られなかった。とくに隠れが生じる場合に訓練サンプルの不足が顕著であった。
シーン変遷ロギングシステムで収集した物体操作の様子を用いて、物体の形状（RGBD画像）と手指の姿勢の共起性をモデリングし、掴む場所が複数ある場合に、学習しながら自動的に複数の選択肢をクラスタリングしつつモデリングする深層モデルと損失関数を設計しハンドル付きコップについてハンドル位置や胴体、上部を掴む複数の掴み方を深度画像として想起できることを確かめた。この成果がRSJ/IEEE IROS2019国際会議に採録され口頭発表した。
手順（プロセス）として操作の系列をモデリングする手法を探求するため、色キューブを並べるタスクをグリップ付き６自由度アームを用意した。人が順に３つのキューブを並べる作業をロボットに見せるとその作業を再現させる実験を行った。掴む・移動する・離すなどの基本動作によって起きうるシーン画像の変化をCGシミュレーションによって再現し、現在のシーン状況と人の教示を照合して次に行うべき動作を生成する深層モデルを構成した。作業途中で状況を壊す邪魔をしても必要な動作を再現してゴールに到達できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
３指ロボットハンドと６軸ロボットアームを連結しROSプラットフォームによって統合制御するソフトウェアの開発に時間がかかったことと、シミュレータによる動作プラニングのメーカー提供モジュールに不具合がありその原因究明に手間取ったため、３軸力センサーを指先に装着する実装に取りかかれなかった。そのため物体操作の視触覚統合モデリングの研究の進捗が遅れている。
|
| Strategy for Future Research Activity |
前年度に引き続き、箱を開けてものを入れる手順のプロセスモデリングの研究を進める。RGBD物体形状画像から把持手指姿勢を想起する課題について、共通のパーツをもつ異なる物体に対して外挿的に把持姿勢を想起できるか検討する。また前年度に開発した単一フレームのみの把持姿勢想起を拡張して、アプローチからグリップするまでの一連のシーケンスを想起するRNNモデルを考案し、局所的なシーン状況下で動的に把持動作をロボットに対して指示できるか検討する。
色キューブを並べるタスクを用いてプロセスとして操作の系列をモデリングする手法を探求する課題では、並べるだけでなく積み上げるなどゴール到達に作業の正しい順番が必要となる作業を設定し、そのような場合について動作シーケンスが正しく再生できるか、さらに途中で邪魔をしてシーンを壊したとき自動的に手戻りをして再びゴールに到達できるか、実機のロボットに操作させる実験を行う。
小型3軸力覚センサを前年度末に調達したハンド指先に装着してセンサーデータを制御PCから取り込めるように電子工作を施す。箱や柔らかい物体を実際に掴む動作をさせ、指先にかかっている力とその方向ならびに、物体に指先がどのくらい近接しているか、がうまく計測できるか、どのような観測値が得られるかを定量的に調べる。この時手指の三次元位置姿勢はモータ側のセンサ情報によりわかっているので、それを用いて空間中のどこにどの向きの反力があるのか、計算により求める手法を検討する。
|
