• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

Creation of Human-Robot Coordination Control based on Observation and Insight

Research Project

Project/Area Number 19H01130
Research InstitutionWaseda University

Principal Investigator

菅野 重樹  早稲田大学, 理工学術院, 教授 (00187634)

Co-Investigator(Kenkyū-buntansha) 石井 裕之  早稲田大学, 理工学術院, 准教授 (10398927)
亀崎 允啓  早稲田大学, 理工学術院総合研究所(理工学研究所), 主任研究員(研究院准教授) (30468863)
Project Period (FY) 2019-04-01 – 2024-03-31
Keywords人間共存ロボット
Outline of Annual Research Achievements

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発:人間とロボットの相互誘導を生み出す接触支援技術として、ロボットからの働きかけを受けるなどの能受動的接触イベントが発生した際に、人間がとると予測されるその後の行動と、実際の結果との合致または乖離が人間にもたらす心理的な影響について調査を行った。
(B)人間の行動センシングに基づく観測および洞察手法の開発:人間の振る舞いから、筋力や神経系の疾患の有無などの運動能力を、さらに、視線や頭部の向きなどと統合して行動の予測を行う手法について検討した。身体各部位の動作を時系列的に解析し、洞察に適した動作パターンの抽出を行った。また、抽出した動作パターンを、刹那的な心理状態に依存するもの、個々人の特性に依存するもの、人間に共通するものなどに分類することができた。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発:ロボット(人間)の行動に対する人間(ロボット)の反応行動の反復的評価と適応技術を開発した。2020年度の内容を発展させ、教師データのばらつきを評価して学習を安定化させるアルゴリズムの実装と評価を行った。人間の計測データとロボットの行動データとを統合して、人間の動作モデルパラメータ学習とそれに適したロボットの動作パラメータを学習するアルゴリズムの開発を行った。
(D)システム統合と統合実証実験:Bで開発する人間の観測・洞察モデルをベースに行動決定を行い、Aで開発した接触をはじめとする働きかけを行う統合実験を実施し、ロボット動作の評価を、効率・安全面だけでなく、社会受容性の観点から行った。2020年度と同様に、人間とロボットが混在して活動空間を共有する環境について、その特徴抽出作業を継続して実施した。ロボットと人間それぞれの反応行動が得られた状態から、評価を行いモデルの修正を適宜行った。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発:人間とロボットの相互誘導を生み出す接触支援技術開発に必要な、ロボットからの働きかけを受けるなどの能受動的接触イベントが発生した際に、人間がとると予測されるその後の行動が抽出できた。また、行動の予測と実際の結果の乖離がもたらす心理的影響についても分析できたことから、次年度につながる有益な研究成果を得ることができた。
(B)人間の行動センシングに基づく観測および洞察手法の開発:これまでに得られた成果・知見を深化させ、ロボットの動作決定に必要な人間の「行動レベル」での予測・理解を行うためのモデルを開発することができた。また、心理面の理解についても検討を進めることができた。一方で、人間の観測・洞察結果があいまいな場合は、能動的な働きかけに基づく情報取得が効果的になることも本活動から明らかになった。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発:昨年度の継続研究として、ロボット(人間)の行動に対する人間(ロボット)の反応行動の反復的評価と適応技術のフレームワークのブラッシュアップを行うことができた。強化学習等のフレームワークを応用して、人間とロボットのインタラクションから、ロボットの行動変容を促す適応技術を構築できた点は大きな成果となった。
(D)システム統合と統合実証実験:2021年度は、人間-ロボット実験から開発した各機能モジュールを統合し、システム全体の有用性を確認した。人混みでの自律移動実験では、当該環境にいる人の観察・洞察を行い、それに伴ってロボットの行動を変化させることで、より社会受容性の高い「場に合わせた」行動をとれることが明らかになった。予測と実際の乖離度合いや頻度に応じたロボットの動作変化の方法について更なる調査が必要となることが明らかになった。
以上より、当初の計画以上に進展しているといえる。

Strategy for Future Research Activity

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発:人間とロボットの相互誘導を生み出す接触支援技術を開発する。ロボットの身体の特徴や機能が、ロボットからの働きかけを受けた際に人間が受ける印象にもたらす心理的影響について調査を行う。例えば柔らかいロボットが自身の身体に外力を作用させてきた場面と、硬いロボットが自身の身体に外力を作用させてきた場面とで人間が受ける印象の変化を調査する。
(B)人間の行動センシングに基づく観測および洞察手法の開発:ロボットとのインタラクション場面における人間の振る舞いから、対象物に対する興味、不安、恐怖などの心理状態を予測する手法の構築を試みる。脳血流計を用いた脳活動の計測と、IMUを用いた身体各部位の動作の計測を同時に行い、それらを時系列的に解析することで洞察に適した動作パターンの抽出を試みる。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発:ロボット(人間)の行動に対する人間(ロボット)の反応行動の反復的評価と適応技術を開発する。実作業データから得られた内界・外界情報を効果的に記憶するデータベース化技術を構築し、そのデータベースと新しく得られた経験から、ロボットの動作パラメータの調整を行うアルゴリズムを開発する。体験の強度と頻度をパラメータとした動作学習の安定化手法について検討し、実機ロボットに実装し評価を行う。
(D)システム統合と統合実証実験:Bで開発する人間の観測・洞察モデルをベースに行動決定を行い、Aで開発した接触をはじめとする働きかけを行う。2021年度の成果を踏まえ、人間とロボットが混在して活動空間を共有する環境について、各種アルゴリズムの検証を実施する。これまでに、効率・安全面に関しては十分な評価が得られたため、長期的インタラクション実験に基づく社会受容性について主に評価する。

  • Research Products

    (36 results)

All 2022 2021

All Journal Article (9 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 8 results,  Open Access: 2 results) Presentation (27 results) (of which Int'l Joint Research: 9 results)

  • [Journal Article] Pitch-Up Motion Mechanism With Heat Welding by Soft Inflatable Growing Robot2022

    • Author(s)
      Yuki Satake, and Hiroyuki Ishii
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 5071-5078

    • DOI

      10.1109/LRA.2022.3153724

    • Peer Reviewed / Open Access
  • [Journal Article] A Robotic Grasping State Perception Framework with Multi-Phase Tactile Information and Ensemble Learning2022

    • Author(s)
      Gang Yan, Alexander Schmitz, Satoshi Funabashi, Sophon Somlor, Tito Pradhono Tomo, Shigeki Sugano
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: PP Pages: 1--8

    • DOI

      10.1109/LRA.2022.3151260

    • Peer Reviewed
  • [Journal Article] Multi-Fingered In-Hand Manipulation With Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors2022

    • Author(s)
      Satoshi Funabashi, Tomoki Isobe, Fei Hongyi, Atsumu Hiramoto, Alexander Schmitz, Shigeki Sugano, Tetsuya Ogata
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 2102--2109

    • DOI

      10.1109/LRA.2022.3142417.

    • Peer Reviewed
  • [Journal Article] Repeated exposure to tripping like perturbations elicits more precise control and lower toe clearance of the swinging foot during steady walking2021

    • Author(s)
      Tamon Miyake, Federica Aprigliano, Shigeki Sugano, Silvestro Micera, Vito Monaco
    • Journal Title

      Human Movement Science

      Volume: 76 Pages: 1--9

    • DOI

      10.1016/j.humov.2021.102775

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Toward Health?Related Accident Prevention: Symptom Detection and Intervention Based on Driver Monitoring and Verbal Interaction2021

    • Author(s)
      H. Hayashi, M. Kamezaki and S. Sugano
    • Journal Title

      IEEE Open Journal of Intelligent Transportation Systems

      Volume: 2 Pages: 240--253

    • DOI

      10.1109/OJITS.2021.3102125

    • Peer Reviewed / Open Access
  • [Journal Article] Performance evaluation of self-healable torque transmission mechanism using phase change of low-melting-point-metal and application to robot joints2021

    • Author(s)
      Shota Miyake3,1, Shunsuke Nagahama1,2 and Shigeki Sugano1
    • Journal Title

      Smart Materials and Structures

      Volume: 31 Pages: 1--12

    • DOI

      10.1088/1361-665X/ac3d70

    • Peer Reviewed
  • [Journal Article] EPM?MRE: Electropermanent Magnet?Magnetorheological Elastomer for Soft Actuation System and Its Application to Robotic Grasping2021

    • Author(s)
      Peizhi Zhang, Mitsuhiro Kamezaki, Zhuoyi He, Hiroyuki Sakamoto, Shigeki Sugano
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 8181--8188

    • DOI

      10.1109/LRA.2021.3100939

    • Peer Reviewed
  • [Journal Article] Tool-Use Model to Reproduce the Goal Situations Considering Relationship Among Tools, Objects, Actions and Effects Using Multimodal Deep Neural Networks2021

    • Author(s)
      Saito Namiko, Ogata Tetsuya, Mori Hiroki, Murata Shingo, Sugano Shigeki
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 8 Pages: 1--15

    • DOI

      10.3389/frobt.2021.748716

    • Peer Reviewed
  • [Journal Article] ねじれ紐式アクチュエータと分散協調駆動機構2021

    • Author(s)
      長濱 峻介,?菅野 重樹
    • Journal Title

      日本ロボット学会誌

      Volume: 39 Pages: 799--802

    • DOI

      10.7210/jrsj.39.799

  • [Presentation] 人共存型パーソナルモビリティに搭載されたカメラにより獲得される動画像からの深層学習に基づく屋外路面の通行容易性推定2022

    • Author(s)
      中山瑛介,大谷淳,大和淳司,亀﨑允啓,葛西優介,菅野重樹
    • Organizer
      電子情報通信学会IE(画像工学)研究会
  • [Presentation] 人共存型自律移動ロボットにおけるステレオカメラと機械学習を用いた周辺人物の状態認識および行動予測2022

    • Author(s)
      林正晃,大谷淳,大和淳司,亀﨑允啓,斎藤恭介,濱田太郎,櫻井絵梨子,菅野重樹
    • Organizer
      電子情報通信学会IE(画像工学)研究会
  • [Presentation] SCT-CNN: A Spatio-Channel-Temporal Attention CNN for Grasp Stability Prediction2021

    • Author(s)
      Gang Yan, Alexander Schmitz, Satoshi Funabashi, Sophon Somlor, Tito Pradhono Tomo, Shigeki Sugano
    • Organizer
      2021 IEEE International Conference on Robotics and Automation (ICRA)
    • Int'l Joint Research
  • [Presentation] Towards a Driver's Gaze Zone Classifier using a Single Camera Robust to Temporal and Permanent Face Occlusions2021

    • Author(s)
      Catherine Lollett, Mitsuhiro Kamezaki, Shigeki Sugano
    • Organizer
      2021 IEEE Intelligent Vehicles Symposium (IV)
    • Int'l Joint Research
  • [Presentation] A Multi-Fingered Robot Hand with Remote Center of Motion Mechanisms for Covering Joints with Soft Skin2021

    • Author(s)
      Gagan Khullar, Alexander Schmitz, Chincheng Hsu, Prathamesh Sathe, Satoshi Funabashi, Shigeki Sugano
    • Organizer
      2021 IEEE International Conference on Robotics and Biomimetics (ROBIO)
    • Int'l Joint Research
  • [Presentation] Feasibility Evaluation of Mixed Reality Obstacles on Treadmill using HoloLens to Elicit Real Obstacle Negotiation2021

    • Author(s)
      Tamon Miyake, Mohammed Al-Sada, Tingting Zhong, Wei Wang, Shigeki Sugano
    • Organizer
      2021 IEEE/SICE International Symposium on System Integration (SII)
    • Int'l Joint Research
  • [Presentation] Development of a Permanent Magnet Elastomer (PME) Infused Soft Robot Skin for Tactile Sensing2021

    • Author(s)
      Sahil Shembekar, Mitsuhiro Kamezaki, Peizhi Zhang, Zhuoyi He, Yuhiro Iwamoto, Yasushi Ido, Hiroyuki Sakamoto, Shigeki Sugano
    • Organizer
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Int'l Joint Research
  • [Presentation] "Safe Skin" - A Low-Cost Capacitive Proximity-Force-Fusion Sensor for Safety in Robots2021

    • Author(s)
      Zhen Wang, Heyang Gao, Alexander Schmitz, Sophon Somlor, Tito Pradhono Tomo, Shigeki Sugano
    • Organizer
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Int'l Joint Research
  • [Presentation] Object Picking Using a Two-Fingered Gripper Measuring the Deformation and Slip Detection Based on a 3-Axis Tactile Sensing2021

    • Author(s)
      Satoshi Funabashi, Yuta Kage, Hiroyuki Oka, Yoshihiro Sakamoto, Shigeki Sugano
    • Organizer
      2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Int'l Joint Research
  • [Presentation] Cooperative Movement based Path Planning with a Mobile Robot in a Multi-Agent Environment Using Deep Reinforcement Learning2021

    • Author(s)
      Ryan Ong, Mitsuhiro Kamezaki, Yuhan Li, and Shigeki Sugano
    • Organizer
      International Symposium on Swarm Behavior and Bio-Inspired Robotics (SWARM 2021),
    • Int'l Joint Research
  • [Presentation] Robust Localization for Multi-Robot Formations: An Experimental Evaluation of an Extended GM-PHD Filter2021

    • Author(s)
      Michiaki Hirayama, Alicja Wasik, Mitsuhiro Kamezaki, and Alcherio Martinoli
    • Organizer
      International Symposium on Distributed Autonomous Robotic Systems (DARS 2021)
    • Int'l Joint Research
  • [Presentation] タスク内容と人・環境との相互作用の予測に基づく自律移動ロボットの適応的ゴール位置探索手法に関する研究2021

    • Author(s)
      櫻井絵梨子,亀﨑允啓,斎藤恭介,濱田太郎,金田太智,菅野重樹
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会論文集(SI2021)
  • [Presentation] DNN-based Driver's Eyelid Closure Classier using a Single Camera Robust to Challenging Driving Scenarios2021

    • Author(s)
      Catherine Lolle, Mitsuhiro Kamezaki, and Shigeki Sugano
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 永久磁石エラストマーを用いた触覚センサを一体化させたソフトロボットスキンの開発2021

    • Author(s)
      シェムベカール サヒル,王啓臣,亀﨑允啓,張裴之,岩本悠宏,井門康司,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 永電磁石とMRエラストマーを用いたソフト吸盤機構の開発とグリッパーへの応用2021

    • Author(s)
      張裴之,亀﨑允啓,何卓頤,坂本裕之,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 目的地周辺状況とタスク内容に応じた移動ロボットの動的ゴール位置探索手法の開発2021

    • Author(s)
      櫻井絵梨子,亀﨑允啓,平山三千昭,斎藤恭介,濱田太郎,金田太智,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 近接移動と譲り合い機能を備えた自律移動ロボットにおける移動効率性と社会受容性2021

    • Author(s)
      濱田太郎,亀﨑允啓,斎藤喬介,金田太智,平山三千昭,オン ライアン,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 人共存型自律移動ロボットの統合的軌道計画システムの構築と実環境での長期間走行評価2021

    • Author(s)
      斎藤喬介,亀﨑允啓,濱田太郎,金田太智,平山三千昭,オン ライアン,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 人パラメータ推定に基づく移動ロボットの動作パラメータ学習に関する研究2021

    • Author(s)
      平山三千昭,亀﨑允啓,斎藤喬介,濱田太郎,金田太智,菅野重樹
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 触覚/運動情報を用いた立体オブジェクトにおける拭き取り動作の学習2021

    • Author(s)
      清水 拓実,斎藤 菜美子,尾形 哲也,菅野 重樹
    • Organizer
      第83回全国大会講演論文集 2021
  • [Presentation] MS-CNNによる多指ロボットハンドの物体特性認識2021

    • Author(s)
      費 鴻仡, 船橋 賢, 菅野 重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021論文集(Robomech’21)
  • [Presentation] 時系列3軸触覚情報を用いた物体把持結果の予測2021

    • Author(s)
      田 有烈, 延 剛, 船橋 賢, シュミッツ アレクサンダー, 菅野 重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021論文集(Robomech’21)
  • [Presentation] 分散協調駆動機構における各TSAの駆動タイミングに応じた動作の滑らかさの評価2021

    • Author(s)
      佐藤 充希, 長濱 峻介, 菅野 重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021論文集(Robomech’21)
  • [Presentation] 低融点金属の相変化を利用したクラッチの伝達力に及ぼす摩擦の影響に関する研究2021

    • Author(s)
      三宅 章太, 長濱 峻介, 菅野 重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021論文集(Robomech’21)
  • [Presentation] 歩行者を考慮した通行容易性推定に基づくパーソナルモビリティの自動速度調整システムの提案2021

    • Author(s)
      葛西優介,松繁怜,森大河,ラン ドンウォン,亀﨑允啓,菅野重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021論文集(Robomech’21)
  • [Presentation] 樹木登攀が可能な小型脚ロボットの開発―第 3 報:昆虫規範型劣駆動脚を備えた 6 脚ロボットの開発―2021

    • Author(s)
      石橋啓太郎,石井裕之
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)
  • [Presentation] 多脚歩行ロボットにおける環境に適応した脚形状導出システムの開発2021

    • Author(s)
      川村 優登,石橋 啓太郎,石井 裕之
    • Organizer
      第39回日本ロボット学会学術講演会論文集(RSJ2021)

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi