• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

指使いの視触覚統合モデルによる柔軟物の加工作業-ハンド表面の分布荷重の統合-

研究課題

研究課題/領域番号 21K12080
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関立命館大学

研究代表者

島田 伸敬  立命館大学, 情報理工学部, 教授 (10294034)

研究分担者 松尾 直志  一関工業高等専門学校, その他部局等, 准教授 (80449545)
平井 慎一  立命館大学, 理工学部, 教授 (90212167)
研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物操作 / 柔軟物の操作 / 把持動作 / プロセスモデリング / 深層学習
研究開始時の研究の概要

ロボットハンドが柔らかい対象を把持しながら、手順に従ってそれらを状態変化させる操り動作(例:袋詰めの粉体や山積みの調理済食品といった不定形柔軟物のつまみ上げ等)を行うための視覚・力触覚を統合した枠組みの研究である。応答時間の短い力触覚的な計測と制御と、応答時間の長い視覚的な状態変化の検知を組み合わせた作業モデルを数理的に構築すること、柔らかくて変形する不定形な食材を自動で盛り付けるようなロボットを実現することを目指す。そのための基礎理論を研究することが課題である。

研究実績の概要

1.昨年度に引き続き「番重(ケース)に山積されている粒状食材(ねぎ、コーン等の惣菜食材)」の定量把持課題を研究連携先の食品メーカの協力を得て遂行した.把持ロボットが任意の番重位置に任意の深さでハンドを挿入するとその把持重量に加えて予期される誤差の分散をRGBD画像から推論し、最も正確と予想される箇所を把持する。本考案を分担者の開発している包み込み型のシリコン製ソフトハンドに組み合わせたデモシステムを12月にビッグサイトで開催された国際ロボット展に出展し反響を得た。また日によってあるいはロボット実機や食材の違いによって訓練済みモデルの性能が劣化する「ドメインシフト」の課題に取り組んだ。
2.巨視的・微視的時空間スケールを内包した階層型視触覚統合プロセスモデルの実装に向け、ノッチ付き段階式レバーのロボット操作を課題に、レバーの位置や角度を視覚センサから、レバーのノッチ抵抗をロボットのモータートルクセンサから取得し、模倣学習と強化学習を組み合わせた深層モデルによるロボットの速度制御機構を提案した。1段目を乗り越える行動の自動獲得に成功したが、視覚によるフィードフォワードが有効に機能しているかの検証が必要なことがわかった。
3.巨視的時空間スケールにおける認知モデルとして,道具物体の形状情報に基づく人の把持行動を日常観察から自発的にモデリングする課題を引き続き遂行した.条件入力あり変分自己符号化器による確率的エンコーダを用いて、部分形状に基づく複数の把持パターンを同時に想起する。今年度はARヘッドセット搭載の深度センサの画像をLAN経由で当該モデルに送信し、リアルタイムに想起したジェスチャをヘッドセットの視野内に物体に重畳して表示するでもシステムを開発した。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

1.粒状食材の定量把持については,訓練用に採取した実食材データを用いて状況における理論の大まかな性能検証を実施し,展示会での実用化デモを実施するに至った.実際の食材加工現場に導入するために,対象や環境の経時変化の影響(ドメインシフト)を考慮する実用的モデルの必要性がわかった。
2.巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築においては,22年度に取り組んだ紙めくり動作の課題を発展させ,ノッチ付き多段型レバーの操作課題を設定し新たに取り組んだ。巨視的時空間スケールの情報としてレバーの位置姿勢を30fpsで画像センサから取得しつつ、微視的時間スケールにおいて実際にハンドを制御する際に、200Hz程度で入手できるトルクセンサの情報からレバーからのステップ反力を取り込み、レバーがある角度になると段に当たって抵抗が増すことを経験から学んで、力を増減することを課題にした。模倣学習と強化学習の組み合わせで、スケールの異なるモーダル情報を相互補完的に利用した深層モデルに基づくフィードバック・フィードワード制御モデルを構築し、実験を行ったところ1段目を乗り越える動作を獲得できた。しかしモデル内の挙動を詳細に検討するとかならずしも期待した巨視的情報に基づくフィードフォワードが働いているか定かではないことがわかってきたので、これについて検討の継続が必要と考えた。
3.前年度に採録された日常生活行動の観察に基づく道具物体の形状に基づく把持動作の想起の雑誌論文が2023年度の日本機械学会賞(論文)(計15件)を受賞した。日常行動を観察するラボ内システムと連動させ、ARヘッドセットで中止した物体の形状をもとに想起された関連動作をARで重畳表示するデモシステムを開発した。

今後の研究の推進方策

1.粒状食材の定量把持課題について,環境の系時変化や把持対象の違いによるドメインシフトを陽に記述する深層モデルを考案し、気温や湿度の変化や新しい未知の食材を把持する際に可能な限り少量の試行によってシフトを調整できる能力の獲得を目指す。また空間的なマルチドメインに対応するため、複数拠点のロボットによる把持データを統合して学習し各拠点に再配布するためのシステム開発を進める。食材メーカと連携し,実稼働するロボットシステムとして試作システム全体を完成させ,6月に開催される食産業の展示会FOOMAにおいてデモを実施する.
2. 巨視的・微視的時間スケールを内包した階層型視触覚統合プロセスモデルの構築について,ノッチ付き多段型レバーを画像に基づく巨視的スケールの姿勢認識とアームのトルクセンサから得られる微視的スケールの力情報を、模倣学習と強化学習の組み合わせで統合するモデリング手法の検討を進める。巨視的スケールにおけるレバー状態の観測に基づいてフィードフォワード的予測行動が発現するかを念頭に検討する。
3. 道具のような固形物の機能を発現するのに適した把持部位の検出と手指把持パターンの想起について,先行の科研課題を引き継いで道具物体のパーツ形状に着目したモデリング及び類似形状のパーツを共有する道具の把持パターンを汎化的に想起する能力を持たせるための深層モデルについて研究を進める.

報告書

(3件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (31件)

すべて 2023 2022 2021

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 5件) 学会発表 (24件) (うち国際学会 8件) 産業財産権 (1件)

  • [雑誌論文] MonoIS3DLoc: Simulation to Reality Learning Based Monocular Instance Segmentation to 3D Objects Localization From Aerial View2023

    • 著者名/発表者名
      Tran Dinh Tuan、Tran Dung Duc、Nguyen Minh Anh、Van Pham Quyen、Shimada Nobutaka、Lee Joo-Ho、Nguyen Anh Quang
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 64170-64184

    • DOI

      10.1109/access.2023.3288027

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Triple-Sigmoid Activation Function for Deep Open-Set Recognition2022

    • 著者名/発表者名
      DINH TUAN TRAN , NOBUTAKA SHIMADA, JOO-HO LEE
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 77668-77678

    • DOI

      10.1109/access.2022.3192621

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Challenges and Opportunities in Robotic Food Handling: A Review2022

    • 著者名/発表者名
      Wang Zhongkui、Hirai Shinichi、Kawamura Sadao
    • 雑誌名

      Frontiers in Robotics and AI

      巻: 8

    • DOI

      10.3389/frobt.2021.789107

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Soft Needle Gripper Capable of Grasping and Piercing for Handling Food Materials2021

    • 著者名/発表者名
      Wang Zhongkui、Ritsumeikan University 1-1-1 Noji-higashi, Kusatsu, Shiga 525-8577, Japan、Makiyama Yui、Hirai Shinichi
    • 雑誌名

      Journal of Robotics and Mechatronics

      巻: 33 号: 4 ページ: 935-943

    • DOI

      10.20965/jrm.2021.p0935

    • NAID

      130008076396

    • ISSN
      0915-3942, 1883-8049
    • 年月日
      2021-08-20
    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Recalling of multiple grasping methods from an object image with a convolutional neural network2021

    • 著者名/発表者名
      Sanada Makoto、Matsuo Tadashi、Shimada Nobutaka、Shirai Yoshiaki
    • 雑誌名

      ROBOMECH Journal

      巻: 8 号: 1

    • DOI

      10.1186/s40648-021-00206-4

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Semiotically adaptive cognition: toward the realization of remotely-operated service robots for the new normal symbiotic society2021

    • 著者名/発表者名
      Taniguchi Tadahiro、El Hafi Lotfi、Hagiwara Yoshinobu、Taniguchi Akira、Shimada Nobutaka、Nishiura Takanobu
    • 雑誌名

      Advanced Robotics

      巻: 35 号: 11 ページ: 664-674

    • DOI

      10.1080/01691864.2021.1928552

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 回帰係数を出力する深層モデルに基づく不確かさを考慮した粒状食材の定量把持制御2023

    • 著者名/発表者名
      深田 紘希, 松尾 直志, 島田 伸敬, 本田 敦, 吉浦 竜一, 王 忠奎, 平井慎一
    • 学会等名
      第29回画像センシングシンポジウム(SSII2023) SO3-24
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Vision + Language Applications: A Survey2023

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Uncertainty-aware quantitative grasping control of granular foodstuff based on a deep model that outputs regression coefficients2023

    • 著者名/発表者名
      Hiroki Fukada, Tadashi Matsuo, Nobutaka Shimada, Atsushi Honda, Ryuichi Yoshiura, Zhoungkui Wang, Shinichi Hirai
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] “Recalling Multiple Object Manipulation Candidates by Learning Based on Observation2023

    • 著者名/発表者名
      Makoto Sanada, Nobutaka Shimada, Yoshiaki Shirai
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 回帰係数を出力する深層モデルに基づく不確かさを考慮した粒状食材の定量把持制御2023

    • 著者名/発表者名
      深田紘希, 松尾直志, 島田伸敬, 本田敦, 吉浦竜一, 王忠奎, 平井慎一
    • 学会等名
      ブース内出展,  2023国際ロボット展 IREX2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 深層学習に基づく画像解析を用いた食材盛り付け生成手順の想起2023

    • 著者名/発表者名
      張 歓歓, 周 禹トウ, 島田 伸敬, 松尾 直志
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ROS2による分散協調処理を用いた人物行動の検知及び変遷情報に基づくMR空間への情報提示2023

    • 著者名/発表者名
      前田 康佑, 東 尚吾, 有本 朱里, 松尾 直志, 島田 伸敬
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ABLE: Aesthetic Box Lunch Editing2022

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      The 1st International Workshop on Multimedia for Cooking, Eating, and related APPlications(CEA++2022) in Proceedings of the 30th ACM International Conference on Multimedia (ACMMM2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 観察に基づく学習における類似物体間の自発的な動作共有による物体に対する未知の操作方法の想起2022

    • 著者名/発表者名
      眞田 慎, 島田 伸敬, 白井 良明
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ROS2を用いた室内シーン変遷ロギングシステムを活用した検知イベント情報のMR空間での提示2022

    • 著者名/発表者名
      前田 康佑, 東 尚吾, 有本 朱里, 松尾 直志, 島田 伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2022

    • 著者名/発表者名
      Zhou Yutong, Shimada Nobutaka
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 食材盛り付けの手順推定と美学的な画像生成の提案2022

    • 著者名/発表者名
      Zhou Yutong, 松尾 直志, 島田 伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 粒状食材の定量トッピング作業自動化に向けたRGBD画像からの 領域提案モデルに基づく把持行動の生成2022

    • 著者名/発表者名
      金子 貴博, 松尾 直志, 島田 伸敬, 本田 敦, 石田 沙弥加
    • 学会等名
      第25回 画像の認識・理解シンポジウム(MIRU2022)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ロボットの応答性がユーザーの印象に与える影響2022

    • 著者名/発表者名
      小林 巧人, 島田 伸敬
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 形状を指し示すジェスチャに基づく物体画像検索システム2022

    • 著者名/発表者名
      阿佐美 諒,渡邉 徹也, 島田 伸敬, 松尾 直志
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 時空間特徴融合による映像からの手話翻訳2022

    • 著者名/発表者名
      Te ZHANG・島田伸敬
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou and Nobutaka Shimada
    • 学会等名
      IEEE International Conference on Automatic Face and Gesture Recognition 2021 (FG2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Scene Descriptor Expressing Ambiguity in Information Recovery Based on Incomplete Partial Observation2021

    • 著者名/発表者名
      Takaaki FUKUI, Tadashi MATSUO and Nobutaka SHIMADA
    • 学会等名
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] ROS2-based Distributed System Implementation for Logging Indoor Human Activities2021

    • 著者名/発表者名
      Kyohei Yoshida, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Non-tactile Thumb Tip Measurement System for Encouraging Rehabilitation After Surgery2021

    • 著者名/発表者名
      Erika Aoki, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      第24回画像の認識・理解シンポジウム(MIRU2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ROS2 を用いた室内シーン変遷ロギングシステムの実装2021

    • 著者名/発表者名
      吉田享平、島田伸敬、松尾直志
    • 学会等名
      ロボティクス・メカトロニクス 講演会 2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 食品バラ積みピッキングのためのロボットシステム2021

    • 著者名/発表者名
      尾山 颯太, 王 忠奎, 鐘江 崚, 平井 慎一
    • 学会等名
      ロボティクス・メカトロニクス講演会 2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] フードロボットチャレンジの試み2021

    • 著者名/発表者名
      平井 慎一, 松野 孝博, 王 忠奎, 西田 賢生, 古田 晴規, 盛影 大樹, 宮越 陸矢, 名手 一生, 草薙 真之介, 青山 大樹, 村岡 泉
    • 学会等名
      第39回日本ロボット学会学術講演会(RSJ2021)
    • 関連する報告書
      2021 実施状況報告書
  • [産業財産権] 不定形の小型食材の集積場所への挿入深さを変えられるロボットハンドを制御するための制御情報を出力するシステム2022

    • 発明者名
      島田 伸敬 松尾 直志 本田 敦 石田 沙弥香
    • 権利者名
      学校法人立命館 株式会社ニップン
    • 産業財産権種類
      特許
    • 産業財産権番号
      2022-105871
    • 出願年月日
      2022
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi