指使いの視触覚統合モデルによる柔軟物の加工作業－ハンド表面の分布荷重の統合－
| Project/Area Number |
21K12080
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 直志 立命館大学, 情報理工学部, 助教 (80449545)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物の操作 / 把持動作 / プロセスモデリング / 深層学習 |
|---|
| Outline of Research at the Start |
ロボットハンドが柔らかい対象を把持しながら、手順に従ってそれらを状態変化させる操り動作（例：袋詰めの粉体や山積みの調理済食品といった不定形柔軟物のつまみ上げ等）を行うための視覚・力触覚を統合した枠組みの研究である。応答時間の短い力触覚的な計測と制御と、応答時間の長い視覚的な状態変化の検知を組み合わせた作業モデルを数理的に構築すること、柔らかくて変形する不定形な食材を自動で盛り付けるようなロボットを実現することを目指す。そのための基礎理論を研究することが課題である。
|
| Outline of Annual Research Achievements |
１．昨年度に引き続き「番重（ケース）に山積されている粒状食材（ねぎ、コーン等の惣菜食材）」の定量把持課題を研究連携先の食品メーカの協力を得て遂行した．把持ロボットが任意の番重位置に任意の深さでハンドを挿入するとその把持重量に加えて予期される誤差の分散を，RGBD画像から推論する深層ネットワークを用いている．山積み食材の把持は破壊型の試行のため同一対象に異なるロボット操作を繰り返すことができないが、確率モデルに基づく回帰型の損失関数を考案することにより解決を見た．年度当初課題であった予測誤差分散の推定精度については挿入深さと把持重量間の線形回帰式の誤差伝搬則を考慮した損失関数に改め，さらにTransformerモデルを学習に採用することで実用的な領域（標準偏差で数g）に達した．
２．巨視的・微視的時空間スケールを内包した階層型視触覚統合プロセスモデルの実装に向け，位置精度の高いアーム先端にワイヤ駆動３指ハンドを取り付け，微視的スケール計測用に分担者の開発している３軸触覚センサ，光学マウスに用いる滑りセンサ，ハンドから対象物体への距離を計測する距離センサを取り付けた．ハンドのシリアル通信による制御コードを改修し，100Hz以上の擬似トルク制御を実現した．これにすでに構築済みの巨視的スケール計測用のRGBDセンサの画像を組み合わせ，紙をハンドの指先で捲るフィードバック・フィードフォワード制御のロボットプラットフォームを構成できた．
３．巨視的時空間スケールにおける認知モデルとして，道具物体の形状情報に基づく人の把持行動を日常観察から自発的にモデリングする課題を引き続き遂行した．条件入力あり変分自己符号化器を拡張した確率的エンコーダモデルを新たに考案し，部分形状に基づく複数の把持パターンを同時に想起する枠組みの有効性を実データによる実験で示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１．粒状食材の定量把持については，訓練用に採取した実食材データを用いて状況における理論の大まかな性能検証を実施でき，実用化の端緒に辿り着いた．実際の食材加工現場に導入するために，対象や環境の経時変化の影響を取り除いた性能の定量評価を行い，実機把持ロボットによる複数環境での性能の付き合わせを行う段階に入っている．
２．巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築においては，紙めくり動作の課題に関して，（微視的時間スケール）：ハンドのトルクセンサ情報，光学滑りセンサ情報，３軸指先触覚センサ，ハンド内距離センサ情報，が100から300Hz，（巨視的時間スケール）：RGBDセンサが30Hz，とそれぞれ相違するサンプリング周期の視触覚データが，ROSプラットフォームを用いて座標変換を含めて同期的に採取できるようになった．さまざまな紙めくり状況について同期センサデータを採取し，スケールの異なるモーダル情報を相互補完的に利用した深層モデルに基づくフィードバック・フィードワード制御モデルの構築に取り掛かる．分担者が開発中の触覚アレイセンサはまもなく試作段階に入る．これを用いると指先の面荷重分布が得られ，微視的スケールと画像による巨視的スケールの情報をより密接に結びつけられる可能性がある．
３．道具物体の形状に基づく把持動作の想起において，従来の変分自己符号化器では対応できなかった，入力形状ごとに異なる動作分布を自発的に獲得する，特に日常観察に基づく訓練データを用いるために同一個体に対しては一回性の動作観測しか得られない条件下で，物体形状と動作の符号化，それらの関連性の獲得をオンラインで同時に行う手法を提案でき，査読付き論文誌に採録された．
|
| Strategy for Future Research Activity |
１．粒状食材の定量把持課題については，ロボットの操作量として現在考慮しているハンドの挿入位置と深さに加えて，捻り角度，シリコン柔軟指の曲げ量や硬さを制御する空気圧といった操作量を導入し，把持重量誤差のより少ない操作量の提案ができるか検討を進める．食材メーカとの連携に関して，実稼働するロボットシステムとして試作システム全体を完成させ，社内外におけるデモを実施する．また現在対象としているネギだけでなくコーンや豆のような同様の粒状食材についても統合的なモデルを構築して対応できるか，深層学習における連合学習や転移学習のアイデアを適用して少量多種の訓練データから一般モデルを構築する枠組みについて理論的な検討を行う．
２． 巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築について，紙のような薄いものをハンドの指先でも滑らせながらめくる動作をさせ、巨視的及び微視的スケールにおける観測データの採取を時間同期を重視して行う．複数のモーダル情報の非同期入力で駆動される深層モデルを考案し，紙めくりの成功および失敗プロセスモデルが構築できるか検討する．道具のような固形物の機能を発現するのに適した把持部位の検出と手指把持パターンの想起について，先行の科研課題を引き継いで道具物体のパーツ形状に着目したモデリング及び類似形状のパーツを共有する道具の把持パターンを汎化的に想起する能力を持たせるための深層モデルについて研究を進める．
３．道具物体の形状に基づく把持動作の想起に関しては，物体の部分形状と動作の関連性および，操作による対象物体の変形をモデリングする手法へ拡張することを検討する．
|
Report
(2 results)
Research Products
(25 results)
-
-
-
-
-
-
-
-
[Presentation] ABLE: Aesthetic Box Lunch Editing2022
Author(s)
Yutong Zhou, Nobutaka Shimada
Organizer
The 1st International Workshop on Multimedia for Cooking, Eating, and related APPlications(CEA++2022) in Proceedings of the 30th ACM International Conference on Multimedia (ACMMM2022)
Related Report
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] フードロボットチャレンジの試み2021
Author(s)
平井 慎一, 松野 孝博, 王 忠奎, 西田 賢生, 古田 晴規, 盛影 大樹, 宮越 陸矢, 名手 一生, 草薙 真之介, 青山 大樹, 村岡 泉
Organizer
第39回日本ロボット学会学術講演会（RSJ2021）
Related Report
-
