2015 Fiscal Year Annual Research Report
指使いの自動プロセスモデル解析に基づく緻密手作業のロボットハンド模倣
| Project/Area Number |
15H02764
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
李 周浩 立命館大学, 情報理工学部, 教授 (80366434)
田中 弘美 立命館大学, 情報理工学部, 教授 (10268154)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 深層学習 / CNN / 持ち方パラメータ / 物体機能 / 想起 / プロセスモデリング |
|---|
| Outline of Annual Research Achievements |
まず物体操作を行う手指の姿勢計測には深度センサーの情報を用いたセグメンテーションが必要と考え、深度センサーから得られる奥行き情報から手指輪郭を抽出し各関節角度や掌姿勢をリアルタイムに推定するシステムを従来システムを拡張して開発した。
左右のどちらの手であるかも自動判別し両手同時に推定できるモードを追加した。次にものを把持する際の手の領域を抽出するにあたり、あらかじめ大雑把に物体のどこを手がどのように把持するのかを事前学習しておき、それにもとづいて手と物体の領域分割をした上で手指の詳細な姿勢推定を行う枠組みを想定した。そこでチームの所有技術である「手指-物体座標系 のモデリングに基づく物体機能の推定および識別手法」に基づき、機械学習によって物体操作座標系を抽出して把持画像を正規化した上で、把持の様子を１）手の形状(2D/3D)と物体相対位置、２）物体の見え(2D)・形状(3D)を組み合わせた画像をSparse auto encoderを用いて教師なしにクラスタリングし、物体機能に対応した把持パタンを記述する「持ち方パラメータ空間」を抽出した。
この空間上に記述された物体把持パタンを、物体自身の見え・形状と付きあわせてConvolutional NNを用いた教師付き学習によって想起させることに成功した。一方双腕ロボットの頭部に深度センサーを、また両手先に自作した９自由度ハンドを装着した把持ロボットを製作し、把持パタンを強く想起させる物体パーツの位置を特定し、そこにハンドを移動させて、傘やかばん、缶などの物体を実際に把持することができた。
またハンドの制御において、運動指示を直接与えるのではなく、目標となるハンド形状を3-Dの深度画像として与えるとその形に近づけるappearance-drivenな姿勢制御を機械学習によって実装した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１年目の目標であった、手指の姿勢計測システムの製作や物体のパーツ形状から把持パタンを想起する枠組みについて一定の成果があげられた。とくに物体の部分形状に誘導される形での把持パタンを記述するための特徴空間を機械学習を用いることにより獲得できたことにより、高自由度で記述や推定の難しい手指操作を低次元で表現しつつ扱う方法について一定の方向性が確認できたので、これらを土台にして２年目は時間的な把持パタンの遷移について記述する方法へと研究のターゲットを推し進めることが可能になった。一方で、１年目では物体の変形や状態変化については取り扱うまでに至っておらず、あくまでも物体の静的な部分形状に誘導される静的な把持パタンの想起に過ぎないので、物体側の時間的な変遷、とくにどのような把持パタンを実施したあとでどのような物体の形状遷移が起るのかを定量的に記述していくことが本研究の目的であるプロセスモデリングの数理的枠組みを探求することに繋がると考える。また、人の物体把持および操作をロボットハンドが模倣する際の最大の問題は、人とロボットの手形状が異なる（指の数は太さ長さなど）ことにあり、これを転移学習等の枠組みを利用して解決することを今後検討する。この人ーロボット間の作業スキル転写についてやや進捗が少なかった。
|
| Strategy for Future Research Activity |
【プロセスモデリングチーム】
今年度は手が物体に接触して操作している複雑なシーンに対しこの成果を応用し、手のアプローチの予測に基づいて手の領域と物体の領域を分け、それぞれがどのように時系列的に推移していくかを個別にトラッキングする方法について研究する。手形状の追跡については昨年度新たに製作した深度センサー情報に基づく三次元手指姿勢推定システムを利用して関節の角度パラメータの時系列を抽出する。物体についてはハサミのような可動部分の明瞭なものを対象にその運動をNNをつかって記述する。可能であれば箱のような大きな形状変化を伴うものの遷移を記述する方法についても検討する。さらに、昨年度の物体形状から手指操作を想起する手法においては、想起された手指形状の深度情報（奥行き画像）が不明瞭な場合がある問題点がわかっているので、これの改良も試みる。
【ハンドロボットチーム】
昨年度は双腕ロボット上に物体ハンドリングプラットフォームを製作し、プロセスモデリングチームの手指操作アプローチの想起手法を使って目の前の物体のどの部分（パーツ）を掴んだら良いかを知り、実際に掴んで見せることに成功した。今年度はハンド指の各関節をどのように動かしてつかむかを想起することを検討する。昨年度最後の予備実験において、ハンドの深度画像とそのときのモーターコマンド（関節角度指示値）の関係を機械学習によって回帰させることにある程度成功したので、これを応用して、物体形状だけから想起された手指操作の深度画像（ただし人間の手）からロボットのハンドのモーターコマンドに転写することを検討する。これによりハサミのような単純な操作を実演することを目標とする。
|
