2016 Fiscal Year Annual Research Report
指使いの自動プロセスモデル解析に基づく緻密手作業のロボットハンド模倣
| Project/Area Number |
15H02764
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 弘美 立命館大学, 情報理工学部, 教授 (10268154)
李 周浩 立命館大学, 情報理工学部, 教授 (80366434)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 深層学習 / CNN / 持ち方パラメータ / 物体機能 / 想起 / プロセスモデリング |
|---|
| Outline of Annual Research Achievements |
昨年度「１フレームの静止画像における人の物体操作シーン」を深度画像、手領域、物体領域の３チャンネル画像としてとらえ、Autoencoderを用いて物体と手の操作の関連を記述する記述子空間を教師なしに獲得できたが、記述子をdecoderに通して得られる手領域や物体領域の像がかなりぼやけていることが問題であった。これを解決するため、学習画像の画面内シフトを自動的に考慮して不変な像クラスタを教師なしに生成できる「Shift-Invariant Autoencoder (SIAE)」を今年度新たに開発し、その有用性を実証するとともに物体操作シーンの記述子空間生成に応用して、昨年度よりも鮮明な物体把持シーンの像を生成することに成功した（複数の国際会議ならびに英文論文誌に採録済）。
また人間の操作によって対象（道具など）の状態変化が連鎖的におこる操作プロセスの記述法として、RNNを応用した時系列の状態発展記述を採用し、人が部屋の椅子などを操作し座るという動作を学習／予測することができた。当初予定では手が物体を操作するシーンを想定していたが、NNの記述能力と必要な訓練時間の問題から、部屋シーンにおける椅子と形状と人体の大きな動きを扱った。部屋のシーン状態（椅子があるかどうか）によって椅子を引いて着席する動作と、座らずに立ったまま付近を通る動作になるかが分岐的に想起されることが確認できた。さらに前述のSIAEを応用して手指の深度画像を記述する空間を生成し、半教師学習によってリアルタイムにロボットハンドのモーターコマンド出力する回帰CNNを学習させて実際にロボットハンドの姿勢を制御を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度では物体の変形や状態変化については取り扱うまでに至っておらず、あくまでも物体の静的な部分形状に誘導される静的な把持パタンの想起に過ぎなかったが、今年度は操作による物体形状の時間的な状態変化（深度画像の変化）によって次になすべき操作をRNNが次々に想起していく枠組みを考案し、実際に椅子を引いて、うまく引けたらそこに着席する人間の動作を想起することに成功した。またうまく椅子を引けなければ椅子の深度画像が予想どおりに変化しないため、その場合には再度椅子を引く動作が想起されることを確認した。即ち目の前の物体状態に応じて次になすべき操作を選択的に想起することができていることを示唆している。これは大まかな人体動作についての実験例であるが、手指による複雑で詳細な物体操作を記述するためのプロトタイプになりうる。とくにどのような把持パタンを実施したあとでどのような物体の形状遷移が起るのかを記述／想起していくプロセスモデリングの数理的枠組の端緒になると期待できる。
また本研究の理論的成果であるSIAEを適用して手の深度画像とロボットハンドの姿勢制御コマンドを半教師学習によって回帰することができたことは、人とロボットの手形状が異なるにも関わらず人の物体把持をロボットハンドに模倣させることができる可能性を示したもので、物体形状から想起した把持操作の手形状を入力としてロボットハンドに当該物体の把持をさせることに繋がり、一定の成果が得られたと考える。
|
| Strategy for Future Research Activity |
【プロセスモデリングチーム】
今年度の成果を継承し、幾つかのステップを踏む物体操作を学習できるかを実験によって検証し、現在の人体姿勢と３Dシーンおよび目指すゴールの状況を提示すると、つぎにどのような人体動作があれば部屋シーンがゴールにむかって遷移していくかを予想させる研究を行う。具体的には人体の姿勢をスケルトンを用いて、また部屋シーンの状況を深度画像として入力し、人体スケルトンとシーン深度画像を入力すると次に起こるべき人体スケルトン変化と変遷するはずの深度画像が出力されるRNNを構築する。これを用いて、初期状況だけを入力すれば今後何が起こるかを予測する時系列が生成され、ゴール地点をあわせて入力すればそこに至る人体の行動系列が生成されることを目指す。
ステップを遷移させる人体行動が途中で失敗した状況を想定して、シーンが変化しなかったときには再度その遷移を生起する行動がRNNによって生成されるかどうかを焦点に研究を進める。これを卓上での手指作業（箱のハンドリングと蓋の開け閉め、内容物の取り出し）に適用していく。
【ハンドロボットチーム】
今年度はプロセスモデリングチームの成果である、物体形状（深度画像）だけから想起された手の把持形状（深度画像）をこれに入力し、実際にロボットハンドの姿勢を生成して、さらに接触センサやトルクセンサの情報を組み合わせることで実際に物体把持を試みる。
|
