2023 Fiscal Year Research-status Report
指使いの視触覚統合モデルによる柔軟物の加工作業－ハンド表面の分布荷重の統合－
| Project/Area Number |
21K12080
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 直志 一関工業高等専門学校, その他部局等, 准教授 (80449545)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Keywords | ロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物操作 |
|---|
| Outline of Annual Research Achievements |
１．昨年度に引き続き「番重（ケース）に山積されている粒状食材（ねぎ、コーン等の惣菜食材）」の定量把持課題を研究連携先の食品メーカの協力を得て遂行した．把持ロボットが任意の番重位置に任意の深さでハンドを挿入するとその把持重量に加えて予期される誤差の分散をRGBD画像から推論し、最も正確と予想される箇所を把持する。本考案を分担者の開発している包み込み型のシリコン製ソフトハンドに組み合わせたデモシステムを12月にビッグサイトで開催された国際ロボット展に出展し反響を得た。また日によってあるいはロボット実機や食材の違いによって訓練済みモデルの性能が劣化する「ドメインシフト」の課題に取り組んだ。
２．巨視的・微視的時空間スケールを内包した階層型視触覚統合プロセスモデルの実装に向け、ノッチ付き段階式レバーのロボット操作を課題に、レバーの位置や角度を視覚センサから、レバーのノッチ抵抗をロボットのモータートルクセンサから取得し、模倣学習と強化学習を組み合わせた深層モデルによるロボットの速度制御機構を提案した。１段目を乗り越える行動の自動獲得に成功したが、視覚によるフィードフォワードが有効に機能しているかの検証が必要なことがわかった。
３．巨視的時空間スケールにおける認知モデルとして，道具物体の形状情報に基づく人の把持行動を日常観察から自発的にモデリングする課題を引き続き遂行した．条件入力あり変分自己符号化器による確率的エンコーダを用いて、部分形状に基づく複数の把持パターンを同時に想起する。今年度はARヘッドセット搭載の深度センサの画像をLAN経由で当該モデルに送信し、リアルタイムに想起したジェスチャをヘッドセットの視野内に物体に重畳して表示するでもシステムを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
１．粒状食材の定量把持については，訓練用に採取した実食材データを用いて状況における理論の大まかな性能検証を実施し，展示会での実用化デモを実施するに至った．実際の食材加工現場に導入するために，対象や環境の経時変化の影響（ドメインシフト）を考慮する実用的モデルの必要性がわかった。
２．巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築においては，22年度に取り組んだ紙めくり動作の課題を発展させ，ノッチ付き多段型レバーの操作課題を設定し新たに取り組んだ。巨視的時空間スケールの情報としてレバーの位置姿勢を30fpsで画像センサから取得しつつ、微視的時間スケールにおいて実際にハンドを制御する際に、200Hz程度で入手できるトルクセンサの情報からレバーからのステップ反力を取り込み、レバーがある角度になると段に当たって抵抗が増すことを経験から学んで、力を増減することを課題にした。模倣学習と強化学習の組み合わせで、スケールの異なるモーダル情報を相互補完的に利用した深層モデルに基づくフィードバック・フィードワード制御モデルを構築し、実験を行ったところ１段目を乗り越える動作を獲得できた。しかしモデル内の挙動を詳細に検討するとかならずしも期待した巨視的情報に基づくフィードフォワードが働いているか定かではないことがわかってきたので、これについて検討の継続が必要と考えた。
３．前年度に採録された日常生活行動の観察に基づく道具物体の形状に基づく把持動作の想起の雑誌論文が2023年度の日本機械学会賞（論文）（計15件）を受賞した。日常行動を観察するラボ内システムと連動させ、ARヘッドセットで中止した物体の形状をもとに想起された関連動作をARで重畳表示するデモシステムを開発した。
|
| Strategy for Future Research Activity |
１．粒状食材の定量把持課題について，環境の系時変化や把持対象の違いによるドメインシフトを陽に記述する深層モデルを考案し、気温や湿度の変化や新しい未知の食材を把持する際に可能な限り少量の試行によってシフトを調整できる能力の獲得を目指す。また空間的なマルチドメインに対応するため、複数拠点のロボットによる把持データを統合して学習し各拠点に再配布するためのシステム開発を進める。食材メーカと連携し，実稼働するロボットシステムとして試作システム全体を完成させ，6月に開催される食産業の展示会FOOMAにおいてデモを実施する．
２． 巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築について，ノッチ付き多段型レバーを画像に基づく巨視的スケールの姿勢認識とアームのトルクセンサから得られる微視的スケールの力情報を、模倣学習と強化学習の組み合わせで統合するモデリング手法の検討を進める。巨視的スケールにおけるレバー状態の観測に基づいてフィードフォワード的予測行動が発現するかを念頭に検討する。
３. 道具のような固形物の機能を発現するのに適した把持部位の検出と手指把持パターンの想起について，先行の科研課題を引き継いで道具物体のパーツ形状に着目したモデリング及び類似形状のパーツを共有する道具の把持パターンを汎化的に想起する能力を持たせるための深層モデルについて研究を進める．
|
| Causes of Carryover |
昨年度同様に，科研費以外で獲得した他の関連研究予算を用いて主にロボットプラットフォーム機材と深層学習向けのGPU計算リソースの整備ができたため，これを用いて本課題を予定通りに遂行した．次年度に繰越した予算は，視触覚統合のためのロボットプラットフォーム部材，ROS/Docker上の分散計算モジュール深層モデルへの追加計算リソース，海外での国際会議発表旅費等に使用する予定である．
|
