| Project/Area Number |
21K12080
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61050:Intelligent robotics-related
|
|---|
| Research Institution | Ritsumeikan University |
|---|
Principal Investigator |
島田 伸敬 立命館大学, 情報理工学部, 教授 (10294034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松尾 直志 一関工業高等専門学校, その他部局等, 准教授 (80449545)
平井 慎一 立命館大学, 理工学部, 教授 (90212167)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | ロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物操作 / 柔軟物の操作 / 把持動作 / プロセスモデリング / 深層学習 |
|---|
| Outline of Research at the Start |
ロボットハンドが柔らかい対象を把持しながら、手順に従ってそれらを状態変化させる操り動作（例：袋詰めの粉体や山積みの調理済食品といった不定形柔軟物のつまみ上げ等）を行うための視覚・力触覚を統合した枠組みの研究である。応答時間の短い力触覚的な計測と制御と、応答時間の長い視覚的な状態変化の検知を組み合わせた作業モデルを数理的に構築すること、柔らかくて変形する不定形な食材を自動で盛り付けるようなロボットを実現することを目指す。そのための基礎理論を研究することが課題である。
|
| Outline of Annual Research Achievements |
１．昨年度に引き続き「番重（ケース）に山積されている粒状食材（ねぎ、コーン等の惣菜食材）」の定量把持課題を研究連携先の食品メーカの協力を得て遂行した．把持ロボットが任意の番重位置に任意の深さでハンドを挿入するとその把持重量に加えて予期される誤差の分散をRGBD画像から推論し、最も正確と予想される箇所を把持する。本考案を分担者の開発している包み込み型のシリコン製ソフトハンドに組み合わせたデモシステムを12月にビッグサイトで開催された国際ロボット展に出展し反響を得た。また日によってあるいはロボット実機や食材の違いによって訓練済みモデルの性能が劣化する「ドメインシフト」の課題に取り組んだ。
２．巨視的・微視的時空間スケールを内包した階層型視触覚統合プロセスモデルの実装に向け、ノッチ付き段階式レバーのロボット操作を課題に、レバーの位置や角度を視覚センサから、レバーのノッチ抵抗をロボットのモータートルクセンサから取得し、模倣学習と強化学習を組み合わせた深層モデルによるロボットの速度制御機構を提案した。１段目を乗り越える行動の自動獲得に成功したが、視覚によるフィードフォワードが有効に機能しているかの検証が必要なことがわかった。
３．巨視的時空間スケールにおける認知モデルとして，道具物体の形状情報に基づく人の把持行動を日常観察から自発的にモデリングする課題を引き続き遂行した．条件入力あり変分自己符号化器による確率的エンコーダを用いて、部分形状に基づく複数の把持パターンを同時に想起する。今年度はARヘッドセット搭載の深度センサの画像をLAN経由で当該モデルに送信し、リアルタイムに想起したジェスチャをヘッドセットの視野内に物体に重畳して表示するでもシステムを開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
１．粒状食材の定量把持については，訓練用に採取した実食材データを用いて状況における理論の大まかな性能検証を実施し，展示会での実用化デモを実施するに至った．実際の食材加工現場に導入するために，対象や環境の経時変化の影響（ドメインシフト）を考慮する実用的モデルの必要性がわかった。
２．巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築においては，22年度に取り組んだ紙めくり動作の課題を発展させ，ノッチ付き多段型レバーの操作課題を設定し新たに取り組んだ。巨視的時空間スケールの情報としてレバーの位置姿勢を30fpsで画像センサから取得しつつ、微視的時間スケールにおいて実際にハンドを制御する際に、200Hz程度で入手できるトルクセンサの情報からレバーからのステップ反力を取り込み、レバーがある角度になると段に当たって抵抗が増すことを経験から学んで、力を増減することを課題にした。模倣学習と強化学習の組み合わせで、スケールの異なるモーダル情報を相互補完的に利用した深層モデルに基づくフィードバック・フィードワード制御モデルを構築し、実験を行ったところ１段目を乗り越える動作を獲得できた。しかしモデル内の挙動を詳細に検討するとかならずしも期待した巨視的情報に基づくフィードフォワードが働いているか定かではないことがわかってきたので、これについて検討の継続が必要と考えた。
３．前年度に採録された日常生活行動の観察に基づく道具物体の形状に基づく把持動作の想起の雑誌論文が2023年度の日本機械学会賞（論文）（計15件）を受賞した。日常行動を観察するラボ内システムと連動させ、ARヘッドセットで中止した物体の形状をもとに想起された関連動作をARで重畳表示するデモシステムを開発した。
|
| Strategy for Future Research Activity |
１．粒状食材の定量把持課題について，環境の系時変化や把持対象の違いによるドメインシフトを陽に記述する深層モデルを考案し、気温や湿度の変化や新しい未知の食材を把持する際に可能な限り少量の試行によってシフトを調整できる能力の獲得を目指す。また空間的なマルチドメインに対応するため、複数拠点のロボットによる把持データを統合して学習し各拠点に再配布するためのシステム開発を進める。食材メーカと連携し，実稼働するロボットシステムとして試作システム全体を完成させ，6月に開催される食産業の展示会FOOMAにおいてデモを実施する．
２． 巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築について，ノッチ付き多段型レバーを画像に基づく巨視的スケールの姿勢認識とアームのトルクセンサから得られる微視的スケールの力情報を、模倣学習と強化学習の組み合わせで統合するモデリング手法の検討を進める。巨視的スケールにおけるレバー状態の観測に基づいてフィードフォワード的予測行動が発現するかを念頭に検討する。
３. 道具のような固形物の機能を発現するのに適した把持部位の検出と手指把持パターンの想起について，先行の科研課題を引き継いで道具物体のパーツ形状に着目したモデリング及び類似形状のパーツを共有する道具の把持パターンを汎化的に想起する能力を持たせるための深層モデルについて研究を進める．
|
