• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

指使いの視触覚統合モデルによる柔軟物の加工作業-ハンド表面の分布荷重の統合-

研究課題

研究課題/領域番号 21K12080
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関立命館大学

研究代表者

島田 伸敬  立命館大学, 情報理工学部, 教授 (10294034)

研究分担者 松尾 直志  一関工業高等専門学校, その他部局等, 准教授 (80449545)
平井 慎一  立命館大学, 理工学部, 教授 (90212167)
研究期間 (年度) 2021-04-01 – 2025-03-31
研究課題ステータス 完了 (2024年度)
配分額 *注記
3,770千円 (直接経費: 2,900千円、間接経費: 870千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2021年度: 1,560千円 (直接経費: 1,200千円、間接経費: 360千円)
キーワードロボットハンド / プロセスモデル / 視触覚統合 / 柔軟物の操作 / 柔軟物操作 / 把持動作 / プロセスモデリング / 深層学習
研究開始時の研究の概要

ロボットハンドが柔らかい対象を把持しながら、手順に従ってそれらを状態変化させる操り動作(例:袋詰めの粉体や山積みの調理済食品といった不定形柔軟物のつまみ上げ等)を行うための視覚・力触覚を統合した枠組みの研究である。応答時間の短い力触覚的な計測と制御と、応答時間の長い視覚的な状態変化の検知を組み合わせた作業モデルを数理的に構築すること、柔らかくて変形する不定形な食材を自動で盛り付けるようなロボットを実現することを目指す。そのための基礎理論を研究することが課題である。

研究成果の概要

力触覚と視覚的変形の二つの情報を整合させた統一的なハンドによる物体操作の自動プロセスモデリングの枠組みに基づき、視覚による大局的な状態認知と力触覚の微視的知覚を相補的に組み合わせることで、多段ノッチ型レバーのように力の掛け具合が不均等に変わる操作対象や、柔軟物とりわけ食材を取り扱う手順を、ロボットハンド実機を用いて実装した。また、物体の形状に基づく大局的な操作方法の獲得のための人行動ロギングシステムの開発、観察に基づく物体把持方法の自動分類および獲得手法の提案、大規模言語モデルに基づく大局的な状況観察に元づくロボットの片付け行動の適応的生成について研究した。

研究成果の学術的意義や社会的意義

大局的ではあるが更新レートの遅い視覚情報と更新レートは早いが微視的スケールにとどまる力触覚情報をどのように調整、統合してロボットの合目的行動を生成するかと言う学術的課題に取り組んだ。食品メーカーと共同で工場ラインにおける食材ハンドリングの自動化を目指し、食材定量把持のための食材状態認識およびハンド行動の生成手法を提案したこと、さらに実機による試作プラントの製作を進め実応用への端緒とできた。これらを踏まえて生活空間において実際に役にたつ行動のできるロボットの実現に貢献した。

報告書

(5件)
  • 2024 実績報告書   研究成果報告書 ( PDF )
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 研究成果

    (47件)

すべて 2025 2024 2023 2022 2021

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 5件) 学会発表 (40件) (うち国際学会 10件) 産業財産権 (1件)

  • [雑誌論文] MonoIS3DLoc: Simulation to Reality Learning Based Monocular Instance Segmentation to 3D Objects Localization From Aerial View2023

    • 著者名/発表者名
      Tran Dinh Tuan、Tran Dung Duc、Nguyen Minh Anh、Van Pham Quyen、Shimada Nobutaka、Lee Joo-Ho、Nguyen Anh Quang
    • 雑誌名

      IEEE Access

      巻: 11 ページ: 64170-64184

    • DOI

      10.1109/access.2023.3288027

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Triple-Sigmoid Activation Function for Deep Open-Set Recognition2022

    • 著者名/発表者名
      DINH TUAN TRAN , NOBUTAKA SHIMADA, JOO-HO LEE
    • 雑誌名

      IEEE Access

      巻: 10 ページ: 77668-77678

    • DOI

      10.1109/access.2022.3192621

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Challenges and Opportunities in Robotic Food Handling: A Review2022

    • 著者名/発表者名
      Wang Zhongkui、Hirai Shinichi、Kawamura Sadao
    • 雑誌名

      Frontiers in Robotics and AI

      巻: 8

    • DOI

      10.3389/frobt.2021.789107

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A Soft Needle Gripper Capable of Grasping and Piercing for Handling Food Materials2021

    • 著者名/発表者名
      Wang Zhongkui、Ritsumeikan University 1-1-1 Noji-higashi, Kusatsu, Shiga 525-8577, Japan、Makiyama Yui、Hirai Shinichi
    • 雑誌名

      Journal of Robotics and Mechatronics

      巻: 33 号: 4 ページ: 935-943

    • DOI

      10.20965/jrm.2021.p0935

    • NAID

      130008076396

    • ISSN
      0915-3942, 1883-8049
    • 年月日
      2021-08-20
    • 関連する報告書
      2021 実施状況報告書
    • 査読あり
  • [雑誌論文] Recalling of multiple grasping methods from an object image with a convolutional neural network2021

    • 著者名/発表者名
      Sanada Makoto、Matsuo Tadashi、Shimada Nobutaka、Shirai Yoshiaki
    • 雑誌名

      ROBOMECH Journal

      巻: 8 号: 1

    • DOI

      10.1186/s40648-021-00206-4

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Semiotically adaptive cognition: toward the realization of remotely-operated service robots for the new normal symbiotic society2021

    • 著者名/発表者名
      Taniguchi Tadahiro、El Hafi Lotfi、Hagiwara Yoshinobu、Taniguchi Akira、Shimada Nobutaka、Nishiura Takanobu
    • 雑誌名

      Advanced Robotics

      巻: 35 号: 11 ページ: 664-674

    • DOI

      10.1080/01691864.2021.1928552

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] 手指姿勢を用いたサウンドデザインの為の複数パラメータ同時入力インターフェースの開発2025

    • 著者名/発表者名
      本間 翔, 松尾 直志
    • 学会等名
      2025年電子情報通信学会 総合大会, 情報・システムソサイエティ特別企画
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 接触部位形状に基づく物体点群と両手把持ジェスチャの相互想起モデル2025

    • 著者名/発表者名
      岡田祐弥, 島田 伸敬
    • 学会等名
      情報処理学会 第87回全国大会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] ジェスチャープロンプトを用いた一般物体検出 -事前学習済みオープンボキャブラリ物体検出器の活用-2025

    • 著者名/発表者名
      井上 颯太,島田 伸敬
    • 学会等名
      情報処理学会 第87回全国大会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 画像に基づくトレンド推定を用いたコンセプトシフト適応付き粒状食材の定量把持2025

    • 著者名/発表者名
      深田紘希, 亀田笑加, 森佳樹, 島田伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」2024年度 成果報告会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 深層学習を用いたラグランジアンの回帰に基づく動力学的特性のモデリング ~単振り子と多段レバーの場合~2025

    • 著者名/発表者名
      三井 悠生,森 佳樹, 島田 伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」2024年度 成果報告会
    • 関連する報告書
      2024 実績報告書
  • [学会発表] Generating Robot Action Sequences: An Efficient Vision-Language Models with Visual Prompts2024

    • 著者名/発表者名
      Weihao Cai , Yoshiki Mori , Nobutaka Shimada,
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] Acquisition of Object Shape Using a HMD’s Depth Sensor and MR Presentation of Manipulation Method2024

    • 著者名/発表者名
      Fumiya Honjo, Makoto Sanada, Yoshiki Mori, Nobutaka Shimada
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2024 実績報告書
    • 国際学会
  • [学会発表] 模倣学習と強化学習を組み合わせた多段レバースイッチ操作の視触覚統合制御モデルの提案2024

    • 著者名/発表者名
      三井 悠生, 神波 大地, 森 佳樹, 島田 伸敬
    • 学会等名
      第25回計測自動制御学会システムインテグレーション部門講演会(SI2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 視覚プロンプトを活用した視覚言語モデルによるロボット動作列生成モデリング2024

    • 著者名/発表者名
      蔡 偉豪, 森 佳樹, 島田 伸敬
    • 学会等名
      第25回計測自動制御学会システムインテグレーション部門講演会(SI2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 多様な環境間でのメタ知識共有に基づく粒状食材の定量把持制御2024

    • 著者名/発表者名
      深田 紘希, 島田 伸敬, 本田 敦, 吉浦 竜一, 枡岡 久子
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] HMD搭載深度センサによる物体形状の取得と物体把持方法のMR提示2024

    • 著者名/発表者名
      本庄 郁弥, 植松 郁哉, 眞田 慎, 森 佳樹, 島田 伸敬
    • 学会等名
      第27回画像の認識・理解シンポジウム(MIRU2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 不確かさを考慮した深層モデルに基づくROS2粒状食材定量把持システムの展示”,ブース内出展2024

    • 著者名/発表者名
      深田紘希, 亀田 笑加, 森 佳樹, 島田伸敬
    • 学会等名
      FOOMA JAPAN 2024
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 画像キャプショニングと大規模言語モデルによるロボット動作列生成モデリング2024

    • 著者名/発表者名
      蔡 偉豪, 森 佳樹, 島田 伸敬
    • 学会等名
      ロボティクス・メカトロニクス講演会2024(ROBOMECH2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 多拠点間統合学習を見据えた粒状食材定量把持システムのROS2実装2024

    • 著者名/発表者名
      亀田 笑加, 深田 紘希, 森 佳樹, 島田 伸敬, 枡岡 久子, 吉浦 竜一, 本田 敦
    • 学会等名
      ロボティクス・メカトロニクス講演会2024(ROBOMECH2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 柔剛ハイブリッド指の一体化製法2024

    • 著者名/発表者名
      永井 舜也, 三森 友貴, 平井 慎一
    • 学会等名
      第42回日本ロボット学会学術講演会(RSJ2024)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] Finger Stroke Detection by Fabric Touch Panel with its Application to Stuffed Animal Robot2024

    • 著者名/発表者名
      Shinichi Hirai and Takahiro Matsuno
    • 学会等名
      2024 63rd Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE)
    • 関連する報告書
      2024 実績報告書
  • [学会発表] 回帰係数を出力する深層モデルに基づく不確かさを考慮した粒状食材の定量把持制御2023

    • 著者名/発表者名
      深田 紘希, 松尾 直志, 島田 伸敬, 本田 敦, 吉浦 竜一, 王 忠奎, 平井慎一
    • 学会等名
      第29回画像センシングシンポジウム(SSII2023) SO3-24
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Vision + Language Applications: A Survey2023

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Uncertainty-aware quantitative grasping control of granular foodstuff based on a deep model that outputs regression coefficients2023

    • 著者名/発表者名
      Hiroki Fukada, Tadashi Matsuo, Nobutaka Shimada, Atsushi Honda, Ryuichi Yoshiura, Zhoungkui Wang, Shinichi Hirai
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] “Recalling Multiple Object Manipulation Candidates by Learning Based on Observation2023

    • 著者名/発表者名
      Makoto Sanada, Nobutaka Shimada, Yoshiaki Shirai
    • 学会等名
      The International Workshop on Intelligent Systems(IWIS)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 回帰係数を出力する深層モデルに基づく不確かさを考慮した粒状食材の定量把持制御2023

    • 著者名/発表者名
      深田紘希, 松尾直志, 島田伸敬, 本田敦, 吉浦竜一, 王忠奎, 平井慎一
    • 学会等名
      ブース内出展,  2023国際ロボット展 IREX2023
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 深層学習に基づく画像解析を用いた食材盛り付け生成手順の想起2023

    • 著者名/発表者名
      張 歓歓, 周 禹トウ, 島田 伸敬, 松尾 直志
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ROS2による分散協調処理を用いた人物行動の検知及び変遷情報に基づくMR空間への情報提示2023

    • 著者名/発表者名
      前田 康佑, 東 尚吾, 有本 朱里, 松尾 直志, 島田 伸敬
    • 学会等名
      2023年電子情報通信学会総合大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ABLE: Aesthetic Box Lunch Editing2022

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      The 1st International Workshop on Multimedia for Cooking, Eating, and related APPlications(CEA++2022) in Proceedings of the 30th ACM International Conference on Multimedia (ACMMM2022)
    • 関連する報告書
      2022 実施状況報告書
    • 国際学会
  • [学会発表] 観察に基づく学習における類似物体間の自発的な動作共有による物体に対する未知の操作方法の想起2022

    • 著者名/発表者名
      眞田 慎, 島田 伸敬, 白井 良明
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ROS2を用いた室内シーン変遷ロギングシステムを活用した検知イベント情報のMR空間での提示2022

    • 著者名/発表者名
      前田 康佑, 東 尚吾, 有本 朱里, 松尾 直志, 島田 伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2022

    • 著者名/発表者名
      Zhou Yutong, Shimada Nobutaka
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 食材盛り付けの手順推定と美学的な画像生成の提案2022

    • 著者名/発表者名
      Zhou Yutong, 松尾 直志, 島田 伸敬
    • 学会等名
      R-GIRO「記号創発システム科学創成:実世界人工知能と次世代共生社会の学術融合研究拠点」キックオフシンポジウム
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 粒状食材の定量トッピング作業自動化に向けたRGBD画像からの 領域提案モデルに基づく把持行動の生成2022

    • 著者名/発表者名
      金子 貴博, 松尾 直志, 島田 伸敬, 本田 敦, 石田 沙弥加
    • 学会等名
      第25回 画像の認識・理解シンポジウム(MIRU2022)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] ロボットの応答性がユーザーの印象に与える影響2022

    • 著者名/発表者名
      小林 巧人, 島田 伸敬
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 形状を指し示すジェスチャに基づく物体画像検索システム2022

    • 著者名/発表者名
      阿佐美 諒,渡邉 徹也, 島田 伸敬, 松尾 直志
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 時空間特徴融合による映像からの手話翻訳2022

    • 著者名/発表者名
      Te ZHANG・島田伸敬
    • 学会等名
      2022年電子情報通信学会総合大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou and Nobutaka Shimada
    • 学会等名
      IEEE International Conference on Automatic Face and Gesture Recognition 2021 (FG2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Scene Descriptor Expressing Ambiguity in Information Recovery Based on Incomplete Partial Observation2021

    • 著者名/発表者名
      Takaaki FUKUI, Tadashi MATSUO and Nobutaka SHIMADA
    • 学会等名
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems, (IROS2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] ROS2-based Distributed System Implementation for Logging Indoor Human Activities2021

    • 著者名/発表者名
      Kyohei Yoshida, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Non-tactile Thumb Tip Measurement System for Encouraging Rehabilitation After Surgery2021

    • 著者名/発表者名
      Erika Aoki, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      第24回画像の認識・理解シンポジウム(MIRU2021)
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ROS2 を用いた室内シーン変遷ロギングシステムの実装2021

    • 著者名/発表者名
      吉田享平、島田伸敬、松尾直志
    • 学会等名
      ロボティクス・メカトロニクス 講演会 2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 食品バラ積みピッキングのためのロボットシステム2021

    • 著者名/発表者名
      尾山 颯太, 王 忠奎, 鐘江 崚, 平井 慎一
    • 学会等名
      ロボティクス・メカトロニクス講演会 2021
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] フードロボットチャレンジの試み2021

    • 著者名/発表者名
      平井 慎一, 松野 孝博, 王 忠奎, 西田 賢生, 古田 晴規, 盛影 大樹, 宮越 陸矢, 名手 一生, 草薙 真之介, 青山 大樹, 村岡 泉
    • 学会等名
      第39回日本ロボット学会学術講演会(RSJ2021)
    • 関連する報告書
      2021 実施状況報告書
  • [産業財産権] 不定形の小型食材の集積場所への挿入深さを変えられるロボットハンドを制御するための制御情報を出力するシステム2022

    • 発明者名
      島田 伸敬 松尾 直志 本田 敦 石田 沙弥香
    • 権利者名
      学校法人立命館 株式会社ニップン
    • 産業財産権種類
      特許
    • 産業財産権番号
      2022-105871
    • 出願年月日
      2022
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2021-04-28   更新日: 2026-01-16  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi