• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

指使いの視触覚統合プロセスモデリングに基づく硬軟物操りの創発型制御

研究課題

研究課題/領域番号 18H03313
研究種目

基盤研究(B)

配分区分補助金
応募区分一般
審査区分 小区分61050:知能ロボティクス関連
研究機関立命館大学

研究代表者

島田 伸敬  立命館大学, 情報理工学部, 教授 (10294034)

研究分担者 野間 春生  立命館大学, 情報理工学部, 教授 (00374108)
李 周浩  立命館大学, 情報理工学部, 教授 (80366434)
松尾 直志  立命館大学, 情報理工学部, 助教 (80449545)
研究期間 (年度) 2018-04-01 – 2021-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
15,990千円 (直接経費: 12,300千円、間接経費: 3,690千円)
2020年度: 3,510千円 (直接経費: 2,700千円、間接経費: 810千円)
2019年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
2018年度: 7,150千円 (直接経費: 5,500千円、間接経費: 1,650千円)
キーワード深層学習 / プロセスモデル / 把持パターン想起 / 視触覚統合 / 多指ハンド / 動作生成 / 他指ハンド
研究成果の概要

力触覚と視覚的変形の二つの情報を整合させた統一的なハンドによる物体操作の自動プロセスモデリングの枠組みを機械学習の枠組みによって構築し、(1)時系列観測に基づく不確かさを考慮した被操作物体形状の遷移型記述モデルの提案、(2)日常生活における人の道具操作をロギングする分散処理システムの構築、(3)物体形状の見えに基づいて把持姿勢を想起する深層モデルの創成方法の提案、(4)物体状態に基づき次の取るべき手順動作を連鎖的に想起するプロセスモデルの提案、(5)超小型触覚センサの開発及び時系列微視的情報によるなぞり触感の分別、の各成果を得た。

研究成果の学術的意義や社会的意義

人が日常普通に行う道具の操り操作は現状のロボットにはまだ模倣ができない。その困難を視触覚の統合によるロボット制御によって克服するべく、触覚側では素材識別のためのなぞり行動を素材適応的に生成することで識別性能を向上できる可能性を示し、視覚側では物体形状の記述子、把持姿勢との関連モデリングによる把持想起、巨視的手順のモデリングと模倣といった要素技術を獲得した。これにより本課題の本丸である視触覚統合モデリング課題への取り組みが端緒についた。

報告書

(4件)
  • 2021 研究成果報告書 ( PDF )
  • 2020 実績報告書
  • 2019 実績報告書
  • 2018 実績報告書
  • 研究成果

    (58件)

すべて 2022 2021 2020 2019 2018

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 2件) 学会発表 (54件) (うち国際学会 24件)

  • [雑誌論文] Recalling of multiple grasping methods from an object image with a convolutional neural network2021

    • 著者名/発表者名
      Sanada Makoto、Matsuo Tadashi、Shimada Nobutaka、Shirai Yoshiaki
    • 雑誌名

      ROBOMECH Journal

      巻: 8 号: 1

    • DOI

      10.1186/s40648-021-00206-4

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Semiotically adaptive cognition: toward the realization of remotely-operated service robots for the new normal symbiotic society2021

    • 著者名/発表者名
      Taniguchi Tadahiro、El Hafi Lotfi、Hagiwara Yoshinobu、Taniguchi Akira、Shimada Nobutaka、Nishiura Takanobu
    • 雑誌名

      Advanced Robotics

      巻: 35 号: 11 ページ: 664-674

    • DOI

      10.1080/01691864.2021.1928552

    • 関連する報告書
      2020 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Rain Streaks and Snowflakes Removal for Video Sequences via Motion Compensation and Matrix Completion2020

    • 著者名/発表者名
      Zhou Yutong、Shimada Nobutaka
    • 雑誌名

      SN Computer Science

      巻: 1 号: 6

    • DOI

      10.1007/s42979-020-00333-6

    • 関連する報告書
      2020 実績報告書
    • 査読あり
  • [雑誌論文] Multi-Scale Affined-HOF and Dimension Selection for View-Unconstrained Action Recognition2020

    • 著者名/発表者名
      Dinh Tuan Tran, Hirotake Yamazoe, Joo-Ho Lee
    • 雑誌名

      Applied Intelligence

      巻: Vol.50 号: 5 ページ: 1-19

    • DOI

      10.1007/s10489-019-01572-8

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [学会発表] MEMS 触覚センサを用いたフォークの把持力に基づく食材判別へのリザバーコンピューティングの応用2022

    • 著者名/発表者名
      坪倉 奏太, 安藤 潤人, 北野 勝則, 野間 春生, 寒川 雅之, 秋田 純一
    • 学会等名
      ハプティクス研究委員会第28回研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou and Nobutaka Shimada
    • 学会等名
      IEEE International Conference on Automatic Face and Gesture Recognition 2021 (FG2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Scene Descriptor Expressing Ambiguity in Information Recovery Based on Incomplete Partial Observation2021

    • 著者名/発表者名
      Takaaki FUKUI, Tadashi MATSUO and Nobutaka SHIMADA
    • 学会等名
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] ROS2-based Distributed System Implementation for Logging Indoor Human Activities2021

    • 著者名/発表者名
      Kyohei Yoshida, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Non-tactile Thumb Tip Measurement System for Encouraging Rehabilitation After Surgery2021

    • 著者名/発表者名
      Erika Aoki, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      International Conference on Intelligent Computing (ICIC2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Generative Adversarial Network for Text-to-Face Synthesis and Manipulation with Pretrained BERT Model2021

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      第24回画像の認識・理解シンポジウム(MIRU2021)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] ROS2 を用いた室内シーン変遷ロギングシステムの実装2021

    • 著者名/発表者名
      吉田享平、島田伸敬、松尾直志
    • 学会等名
      ロボティクス・メカトロニクス 講演会 2021
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オペラブルリアリティのためのMRにおける収納家具の対話的取り込み2021

    • 著者名/発表者名
      前田 康佑, 野村 朋哉, 島田 伸敬, 松尾 直志
    • 学会等名
      2021年電子情報通信学会総合大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] リハビリ支援のための拇指先端可動域計測および可視化アプリ2021

    • 著者名/発表者名
      青木 映里香, 島田 伸敬, 松尾 直志
    • 学会等名
      2021年電子情報通信学会総合大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 日常的な物体操作の自動記録と解析に基づく物体把持方法の想起2021

    • 著者名/発表者名
      有本 光希, 島田 伸敬, 松尾 直志
    • 学会等名
      2021年電子情報通信学会総合大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 不完全な部分観測情報に基づく情報復元の曖昧さを表現する状況記述子の提案2021

    • 著者名/発表者名
      福井 尚卿, 松尾 直志, 島田 伸敬
    • 学会等名
      第225回コンピュータビジョンとイメージメディア研究発表会(CVIM225)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Spatial and Channel-wise Attention in Generative Adversarial Network for Text-to-Face Synthesis and Manipulation2021

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      第225回コンピュータビジョンとイメージメディア研究発表会(CVIM225)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] MEMS 触覚センサ向け機械学習のためのFPGA によるSNN パーセプトロン実装2021

    • 著者名/発表者名
      青木雅典, 土橋嬉真花,安藤潤人,寒川雅之,秋田純一,野間春生
    • 学会等名
      第26回バーチャルリアリティ学会大会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 物理的・化学的耐久性を兼備するフッ素エラストマ積層コーティングPDMS封止カンチレバー型触覚センサ2021

    • 著者名/発表者名
      髙橋佑司,髙橋拓海,安部隆,野間春生,寒川雅之
    • 学会等名
      第38回「センサ・マイクロマシンと応用システム」シンポジウム
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Spatial and Channel-wise Attention in Generative Adversarial Networks for Text to Face Synthesis2020

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      The 1st International Workshop on Intelligent Systems(IWIS 2020)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 不完全な観測情報に基づく 3D再構成の曖昧さを表現する空間形状記述子の提案2020

    • 著者名/発表者名
      福井 尚卿, 松尾 直志, 島田 伸敬
    • 学会等名
      第21回計測自動制御学会システムインテグレーション部門講演会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 深層学習による失敗自動対応可能な人間の作業プロセスのモデル化2020

    • 著者名/発表者名
      チャン・ディン・トゥアン, 李周浩, 島田伸敬
    • 学会等名
      ロボティクス・メカトロニクス講演会 2020(ROBOMECH 2020 in KANAZAWA)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] リバビリテーションのための親指先端可動域の計測と可視化2020

    • 著者名/発表者名
      三宅雄大, 松尾直志, 島田伸敬
    • 学会等名
      ロボティクス・メカトロニクス講演会 2020(ROBOMECH 2020 in KANAZAWA)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] Pointing Direction Estimation for Attention Target Extraction Using Body-Mounted Camera2020

    • 著者名/発表者名
      Yusei Oozono, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      2020 17TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS (UR)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Improvement of Passive Joint in Wearable Robot Arm2020

    • 著者名/発表者名
      Akimichi Kojima, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      2020 17TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS (UR)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] Emotion Estimation for Automatic Generation of 3D Avatar Motions Based on Dialog Texts2020

    • 著者名/発表者名
      Keita Kishima, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      2020 17TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS (UR)
    • 関連する報告書
      2020 実績報告書
    • 国際学会
  • [学会発表] 介護練習用ロボットの為の表情による痛み再現システム2020

    • 著者名/発表者名
      梶山 主税、李 美蘭、山添 大丈、李 周浩
    • 学会等名
      ロボティクス・メカトロニクス講演会 2020(ROBOMECH 2020 in KANAZAWA)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 知能化空間における人間の位置及び行動に基づく異常の検出2020

    • 著者名/発表者名
      小林 叶佳、山添 大丈、李 周浩
    • 学会等名
      ロボティクス・メカトロニクス講演会 2020(ROBOMECH 2020 in KANAZAWA)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 介護練習用ロボットの為の表情による痛み再現システム2020

    • 著者名/発表者名
      梶山 主税, 山添 大丈, 李 周浩
    • 学会等名
      第18回高齢社会デザイン(ASD)研究会
    • 関連する報告書
      2020 実績報告書
  • [学会発表] ドローンによる夜間警備のための赤外線カメラを用いた人間の行動認識2020

    • 著者名/発表者名
      今在家 拓哉, Tran Dinh, Tuan, 李 周浩
    • 学会等名
      第21回計測自動制御学会システムインテグレーション部門講演会(SI2020)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] 卓上作業支援ロボットにおけるジェスチャ操作の評価2020

    • 著者名/発表者名
      山本 凌司, チャン ディン トゥアン, 李 周浩
    • 学会等名
      第21回計測自動制御学会システムインテグレーション部門講演会(SI2020)
    • 関連する報告書
      2020 実績報告書
  • [学会発表] オペラブルリアリティ:棚内物体の仮想操作インタフェース2020

    • 著者名/発表者名
      野村 朋哉, 有本 光希, 松尾 直志, 島田 伸敬
    • 学会等名
      2020年電子情報通信学会総合大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 包丁手技訓練を目的とした把持力信号の 自動ストローク切り出し手法の検討2020

    • 著者名/発表者名
      川田智晴, 岡田一志, 大井翔, 松村耕平, 寒川雅之, 野間春生
    • 学会等名
      インタラクション2020
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Using Motion Compensation and Matrix Completion Algorithm to Remove Rain Streaks and Snow for Video Sequences2019

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      The 5th Asian Conference on Pattern Recognition (ACPR 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] A Feature Extraction Approach to Handle Variations in Camera Viewpoint for Computer Vision Tasks2019

    • 著者名/発表者名
      Dinh Tuan Tran, Hirotake Yamazoe, Nobutaka Shimada, Joo-Ho Lee
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics (MPR2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Discovery of Image Pixels Highly Contributing to CNN regression2019

    • 著者名/発表者名
      LI Yitian, SHIMADA Nobutaka
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics (MPR2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Detection of Unstable Objects by Using Deep Learning for Domestic Environment2019

    • 著者名/発表者名
      FUKUI Takaaki, SHIMADA Nobutaka, MATSUO Tadashi
    • 学会等名
      The 15th Joint Workshop on Machine Perception and Robotics (MPR2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Recalling Candidates of Grasping Method from an Object Image using Neural Network2019

    • 著者名/発表者名
      Makoto Sanada, Tadashi Matsuo, Nobutaka Shimada, Yoshiaki Shirai
    • 学会等名
      The 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Analysis of robot's motion impressions for designing behaviors of home service robots2019

    • 著者名/発表者名
      Hirotake Yamazoe, Kenta Miki, Takuya Imazaike, Yume Matsushita, Jaemin Chun, Youngsun Kim, Joo-Ho Lee
    • 学会等名
      The 1st IFAC Workshop on Robot Control (WROCO 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Human motion generation based on GAN toward unsupervised 3D human pose estimation2019

    • 著者名/発表者名
      Sasuke Yamane, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      The 5th Asian Conference on Pattern Recognition (ACPR 2019)
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 受信者の状態に応じた部分情報を重畳するARゲームの提案2019

    • 著者名/発表者名
      河盛 真波, 島田 伸敬
    • 学会等名
      第24回バーチャルリアリティ学会大会(VRSJ2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Inferring Task Plans from Visual Demonstration with Recurrent Neural Networks2019

    • 著者名/発表者名
      Li Xi, Nobutaka Shimada
    • 学会等名
      第22回画像の認識・理解シンポジウム(MIRU2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Using Motion Compensation and Matrix Completion Algorithm to Remove Rain Streaks and Snow for Video Sequence2019

    • 著者名/発表者名
      Yutong Zhou, Nobutaka Shimada
    • 学会等名
      第22回画像の認識・理解シンポジウム(MIRU2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 力入力に対する剛体群の運動応答予測と静力学的構造安定性の推定2019

    • 著者名/発表者名
      福井 尚卿, 松尾 直志, 島田 伸敬
    • 学会等名
      ロボティクス・メカトロニクス講演会2019(ROBOMECH2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] GANを用いた姿勢既知の教師データを必要としない3次元人物姿勢推定2019

    • 著者名/発表者名
      山根 佐介, 山添 大丈, 李 周浩
    • 学会等名
      第22回 画像の認識・理解シンポジウム (MIRU2019)
    • 関連する報告書
      2019 実績報告書
  • [学会発表] エラストマ封止カンチレバー型触覚センサの検出エリア評価2019

    • 著者名/発表者名
      阿部 由杜, 菅 史賢, 安部 隆, 野間 春生, 寒川 雅之
    • 学会等名
      第36回 センサ・マイクロマシンと応用システム
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Gripping Force based Signature Verification Measured by Tactile Sensors2019

    • 著者名/発表者名
      Kazushi Okada, Sho Ooi,Kohei Matsumura, Haruo Noma
    • 学会等名
      IEEE World Haptics 2019
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] Auto-encoder factorizing into transform invariants and transform parameters2019

    • 著者名/発表者名
      Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      The 25th International Workshop on Frontiers of Computer Vision (IW-FCV2019)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] ニューラルネットワークを用いた物体画像から把持方法候補の想起2019

    • 著者名/発表者名
      眞田慎, 松尾直志, 島田伸敬, 白井良明
    • 学会等名
      パターン認識・メディア理解研究会2019年1月研究会(PRMU)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ペングリップ型デバイスを用いた個人認証の提案2019

    • 著者名/発表者名
      岡田 一志, 大井 翔, 松村 耕平, 野間 春生
    • 学会等名
      インタラクション2019
    • 関連する報告書
      2018 実績報告書
  • [学会発表] View-Invariant Human Activity Recognition Using Topic Model on Combined ORB-OF Feature2019

    • 著者名/発表者名
      DINH TUAN TRAN, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      2019 IEEE/SICE International Symposium on System Integration
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Development of a hand robot that can imitate the procedure of object manipulation accompanied with object state transition,2018

    • 著者名/発表者名
      ZHAO YUJIAN, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      The 14th Joint Workshop on Machine Perception and Robotics (MPR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Rain Streaks Detection and Removal Using Temporal Correlation and EM-Based Low-Rank Matrix Completion for Video Sequences2018

    • 著者名/発表者名
      ZHOU YUTONG, Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      The 14th Joint Workshop on Machine Perception and Robotics (MPR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Auto-encoder for generating a transform invariant descriptor and transform parameters2018

    • 著者名/発表者名
      Tadashi Matsuo, Nobutaka Shimada
    • 学会等名
      第21回画像の認識・理解シンポジウム(MIRU2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Inference of Grasping Pattern from Object Image Based on Interaction Descriptor,2018

    • 著者名/発表者名
      Tadashi Matsuo, Takuya Kawakami, Yoko Ogawa, Nobutaka Shimada,
    • 学会等名
      The 27th IEEE International Symposium on Industrial Electronics (IEEE-ISIE2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] 胸部装着カメラによる注目対象抽出のための指差し方向推定2018

    • 著者名/発表者名
      大園 愉生, 山添 大丈, 李 周浩
    • 学会等名
      日本機械学会ロボティクス・メカトロニクス講演会2018(ROBOMECH2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] CNN を用いた眼球中心・虹彩中心推定に基づく視線検出手法の検討2018

    • 著者名/発表者名
      施 真琴, 内海 章, 山添 大丈, 萩田 紀博, 李 周浩
    • 学会等名
      日本機械学会ロボティクス・メカトロニクス講演会2018(ROBOMECH2018)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Investigation of gaze detcection method based on eyeball center and ireis center esrimation using CNN2018

    • 著者名/発表者名
      Makoto Sei, Akira Utsumi, Hirotake Yamazoe, Norihiro Hagita, Joo-Ho Lee
    • 学会等名
      The 14th joint Workshop on Machine Perception and Robotics (MPR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会
  • [学会発表] Pointing direction estimation for attention target extraction by using a chest mounted camera2018

    • 著者名/発表者名
      Yusei Oozono, Hirotake Yamazoe, Joo-Ho Lee
    • 学会等名
      The 14th joint Workshop on Machine Perception and Robotics (MPR2018)
    • 関連する報告書
      2018 実績報告書
    • 国際学会

URL: 

公開日: 2018-04-23   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi