2022 Fiscal Year Research-status Report
指使いの視触覚統合モデルによる柔軟物の加工作業－ハンド表面の分布荷重の統合－
| Project/Area Number |
21K12080
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 直志 立命館大学, 情報理工学部, 助教 (80449545)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物の操作 |
|---|
| Outline of Annual Research Achievements |
１．昨年度に引き続き「番重（ケース）に山積されている粒状食材（ねぎ、コーン等の惣菜食材）」の定量把持課題を研究連携先の食品メーカの協力を得て遂行した．把持ロボットが任意の番重位置に任意の深さでハンドを挿入するとその把持重量に加えて予期される誤差の分散を，RGBD画像から推論する深層ネットワークを用いている．山積み食材の把持は破壊型の試行のため同一対象に異なるロボット操作を繰り返すことができないが、確率モデルに基づく回帰型の損失関数を考案することにより解決を見た．年度当初課題であった予測誤差分散の推定精度については挿入深さと把持重量間の線形回帰式の誤差伝搬則を考慮した損失関数に改め，さらにTransformerモデルを学習に採用することで実用的な領域（標準偏差で数g）に達した．
２．巨視的・微視的時空間スケールを内包した階層型視触覚統合プロセスモデルの実装に向け，位置精度の高いアーム先端にワイヤ駆動３指ハンドを取り付け，微視的スケール計測用に分担者の開発している３軸触覚センサ，光学マウスに用いる滑りセンサ，ハンドから対象物体への距離を計測する距離センサを取り付けた．ハンドのシリアル通信による制御コードを改修し，100Hz以上の擬似トルク制御を実現した．これにすでに構築済みの巨視的スケール計測用のRGBDセンサの画像を組み合わせ，紙をハンドの指先で捲るフィードバック・フィードフォワード制御のロボットプラットフォームを構成できた．
３．巨視的時空間スケールにおける認知モデルとして，道具物体の形状情報に基づく人の把持行動を日常観察から自発的にモデリングする課題を引き続き遂行した．条件入力あり変分自己符号化器を拡張した確率的エンコーダモデルを新たに考案し，部分形状に基づく複数の把持パターンを同時に想起する枠組みの有効性を実データによる実験で示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１．粒状食材の定量把持については，訓練用に採取した実食材データを用いて状況における理論の大まかな性能検証を実施でき，実用化の端緒に辿り着いた．実際の食材加工現場に導入するために，対象や環境の経時変化の影響を取り除いた性能の定量評価を行い，実機把持ロボットによる複数環境での性能の付き合わせを行う段階に入っている．
２．巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築においては，紙めくり動作の課題に関して，（微視的時間スケール）：ハンドのトルクセンサ情報，光学滑りセンサ情報，３軸指先触覚センサ，ハンド内距離センサ情報，が100から300Hz，（巨視的時間スケール）：RGBDセンサが30Hz，とそれぞれ相違するサンプリング周期の視触覚データが，ROSプラットフォームを用いて座標変換を含めて同期的に採取できるようになった．さまざまな紙めくり状況について同期センサデータを採取し，スケールの異なるモーダル情報を相互補完的に利用した深層モデルに基づくフィードバック・フィードワード制御モデルの構築に取り掛かる．分担者が開発中の触覚アレイセンサはまもなく試作段階に入る．これを用いると指先の面荷重分布が得られ，微視的スケールと画像による巨視的スケールの情報をより密接に結びつけられる可能性がある．
３．道具物体の形状に基づく把持動作の想起において，従来の変分自己符号化器では対応できなかった，入力形状ごとに異なる動作分布を自発的に獲得する，特に日常観察に基づく訓練データを用いるために同一個体に対しては一回性の動作観測しか得られない条件下で，物体形状と動作の符号化，それらの関連性の獲得をオンラインで同時に行う手法を提案でき，査読付き論文誌に採録された．
|
| Strategy for Future Research Activity |
１．粒状食材の定量把持課題については，ロボットの操作量として現在考慮しているハンドの挿入位置と深さに加えて，捻り角度，シリコン柔軟指の曲げ量や硬さを制御する空気圧といった操作量を導入し，把持重量誤差のより少ない操作量の提案ができるか検討を進める．食材メーカとの連携に関して，実稼働するロボットシステムとして試作システム全体を完成させ，社内外におけるデモを実施する．また現在対象としているネギだけでなくコーンや豆のような同様の粒状食材についても統合的なモデルを構築して対応できるか，深層学習における連合学習や転移学習のアイデアを適用して少量多種の訓練データから一般モデルを構築する枠組みについて理論的な検討を行う．
２． 巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築について，紙のような薄いものをハンドの指先でも滑らせながらめくる動作をさせ、巨視的及び微視的スケールにおける観測データの採取を時間同期を重視して行う．複数のモーダル情報の非同期入力で駆動される深層モデルを考案し，紙めくりの成功および失敗プロセスモデルが構築できるか検討する．道具のような固形物の機能を発現するのに適した把持部位の検出と手指把持パターンの想起について，先行の科研課題を引き継いで道具物体のパーツ形状に着目したモデリング及び類似形状のパーツを共有する道具の把持パターンを汎化的に想起する能力を持たせるための深層モデルについて研究を進める．
３．道具物体の形状に基づく把持動作の想起に関しては，物体の部分形状と動作の関連性および，操作による対象物体の変形をモデリングする手法へ拡張することを検討する．
|
| Causes of Carryover |
昨年度同様に，科研費以外で獲得した他の関連研究予算を用いて主にロボットプラットフォーム機材と深層学習向けのGPU計算リソースの整備ができたため，これを用いて本課題を予定通りに遂行した．次年度に繰越した予算は，視触覚統合のためのロボットプラットフォーム部材，ROS/Docker上の分散計算モジュール深層モデルへの追加計算リソース，海外での国際会議発表旅費等に使用する予定である．
|
-
-
-
-
[Presentation] ABLE: Aesthetic Box Lunch Editing2022
Author(s)
Yutong Zhou, Nobutaka Shimada
Organizer
The 1st International Workshop on Multimedia for Cooking, Eating, and related APPlications(CEA++2022) in Proceedings of the 30th ACM International Conference on Multimedia (ACMMM2022)
Int'l Joint Research
-
-
-
-
-
-
