• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

Creation of Human-Robot Coordination Control based on Observation and Insight

Research Project

Project/Area Number 19H01130
Research InstitutionWaseda University

Principal Investigator

菅野 重樹  早稲田大学, 理工学術院, 教授 (00187634)

Co-Investigator(Kenkyū-buntansha) 石井 裕之  早稲田大学, 理工学術院, 教授 (10398927)
亀崎 允啓  早稲田大学, 理工学術院総合研究所(理工学研究所), 主任研究員(研究院准教授) (30468863)
Project Period (FY) 2019-04-01 – 2024-03-31
Keywords人間共存ロボット
Outline of Annual Research Achievements

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発: 人間が、ロボットからの働きかけを受ける際に受ける不快感を最小化するために、ロボットの柔軟な身体を実現するための、インフレータブル構造について調査を行った。
(B)人間の行動センシングに基づく観測および洞察手法の開発: 人間の振る舞いから、筋力や神経系の疾患の有無などの運動能力を、さらに、視線や頭部の向きなどと統合して行動の予測を行う手法について検討した。モーションキャプチャによる計測データから、身体の動作を推定し、さらにそこから心理状態を推定する手法の構築を進めた。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発: ロボット(人間)の行動に対する人間(ロボット)の反応行動の反復的評価と適応技術を深化させた。実際の作業データから得られた内界・外界情報を効果的に記憶するデータベース化技術を構築し、そのデータベースと新しく得られた経験から、ロボットの動作パラメータの調整是非および調整の度合いを算出するアルゴリズムを開発した。体験の強度と頻度をパラメータとした動作学習の安定化手法を導入した。実機ロボットに実装し評価を行った結果、行動に伴って適切な行動が選択されることが確認できた。
(D)システム統合と統合実証実験: Bで開発した人間の観測・洞察モデルをベースに行動決定を行い、Aで開発した接触をはじめとする働きかけを行う統合実験を実施した。2021年度と同様に、人間とロボットが混在して活動空間を共有する環境について、各種アルゴリズムの検証を行った。これまでに、効率安全面に関しては十分な評価が得られたため、長期的インタラクション実験に基づく社会受容性について評価した結果、接近や接触が不可欠な状況においては、人はそれらを許容する傾向にあることが示唆された。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発: 熱溶着によってさまざまな形状のインフレータブル構造を簡単に成形する技術を開発し、成形したインフレータブル構造によってロボットを創り出す設計論の構築をすすめた。またインフレータブル構造で構成されたロボットから人間が受ける印象について調査し、ロボットに求められる柔らかさについて多角的に知見を積み上げた。
(B)人間の行動センシングに基づく観測および洞察手法の開発: 人間がロボットとのインタラクションから受ける印象は、インタラクション発生直後から経時的に変化することが明らかとなった。その結果、経時的変化を、いくつかの期にわけて論ずる重要性を認識し、適切な期の分割方法について検討を進めた。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発: 昨年度の発展研究として、ロボット(人間)の行動に対する人間(ロボット)の反応行動の反復的評価と適応技術のフレームワークを実機実機にて評価を行うことができた。われわれ人間が行っている方法と同じ様に、経時的に得られていく体験を解釈しながら(時には、相手の行動がイレギュラーだと判断したりしながら)、ロボット自身の行動変容を行うか否かを判断できる適応技術を構築・評価できた点は大きな成果となった。
(D)システム統合と統合実証実験: 2022年度は、これまでに開発し、ブラッシュアップしてきた各種アルゴリズムの有用性を確認した。特に、人共存での自律移動を行う長期間インタラクション実験において、人の観察・洞察に基づき、より社会受容性の高い「場に合わせた」行動をとれるだけでなく、このようなロボットは、必要不可欠な接近や接触が許容される傾向にあることが示唆されたのは大きな進展となった。
以上より、本研究課題は、当初の計画以上に進展しているといえる。

Strategy for Future Research Activity

(A)不快感と力学的作用を考慮した人間への能受動接触技術の開発: 人間とロボットの相互誘導を生み出す接触支援技術を開発する。ロボットの身体の特徴や機能が、ロボットからの働きかけを受けた際に人間が受ける印象にもたらす心理的影響について調査を行う。具体的には、柔らかさを表面的柔らかさ、構造的柔らかさ、全体的柔らかさなど複数の要素に分解し、各要素と人間が受ける印象について調査する。
(B)人間の行動センシングに基づく観測および洞察手法の開発: ロボットとのインタラクション場面における人間の振る舞いから、対象物に対する興味、不安、恐怖などの心理状態を予測する手法の構築を試みる。脳血流計を用いた脳活動の計測と、ロボットに搭載可能なモーションキャプチャを用いた身体各部位の動作の計測を同時に行い、それらを時系列的に解析することで洞察手法の確立を目指す。
(C)機械学習に基づく反応行動の反復的評価と適応技術の開発: 2022年度の成果を踏まえ、2023年度は、状況と行動の関係性を蓄積したデータベースを再利用することで、未知環境への早期適用を目指す。また、ロボットの計画行動と実際にロボットがとった行動との差分に対して、回避の大きさや交わされる会話等から、更新判断に利用する蓄積データ数の自動調整(調整感度調整)を行い、動作学習の安定化および早期化について検討する。
(D)システム統合と統合実証実験: 具体的な人とロボットが協調タスクを行うタスクを実施する。まず、オフィス環境として、混雑した廊下の移動やエレベータの乗降などを行う。さらに、家庭内での家事タスク(片付けなど)を実施する。人の状態や意図の観測・洞察に基づき、適切な手段での働きかけを行えることを確認する。さらに、適応技術により、経験を経るごとにロボットと人間の協調関係がよりよく改善されていくことを確認する。

  • Research Products

    (34 results)

All 2023 2022

All Journal Article (11 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 11 results,  Open Access: 7 results) Presentation (23 results) (of which Int'l Joint Research: 9 results)

  • [Journal Article] Acquisition of Inducing Policy in Collaborative Robot Navigation Based on Multiagent Deep Reinforcement Learning2023

    • Author(s)
      Mitsuhiro Kamezaki, Ryan Ong, and Shigeki Sugano
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 23946--23955

    • DOI

      10.1109/ACCESS.2023.3253513

    • Peer Reviewed / Open Access
  • [Journal Article] Error-Tolerant Robot Navigation with Sequential Inducement Based on Intent Conveyance from Robot to Human and Its Achievement2023

    • Author(s)
      Mitsuhiro Kamezaki, Kono Ryosuke, Ayano Kobayashi, Hayato Yanagawa, Tomoya Onishi, Yusuke Tsuburaya, Moondeep Shrestha, and Shigeki Sugano
    • Journal Title

      International Journal of Social Robotics

      Volume: 15 Pages: 297--316

    • DOI

      10.1007/s12369-023-00965-7

    • Peer Reviewed / Open Access
  • [Journal Article] Imitation-Based Motion Planning and Control of a Multi-Section Continuum Robot Interacting With the Environment2023

    • Author(s)
      Ibrahim A. Seleem, Haitham El-Hussieny , and Hiroyuki Ishii
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 8 Pages: 1351-1358

    • DOI

      10.1109/LRA.2023.3239306

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Tactile Transfer Learning and Object Recognition With a Multifingered Hand Using Morphology Specific Convolutional Neural Networks2022

    • Author(s)
      Satoshi Funabashi, Gang Yan, Fei Hongyi, Alexander Schmitz, Lorenzo Jamone, Tetsuya Ogata, and Shigeki Sugano
    • Journal Title

      IEEE Transactions on Neural Networks and Learning Systems

      Volume: PP Pages: 1--15

    • DOI

      10.1109/TNNLS.2022.3215723

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Single Camera Face Position-Invariant Driver’s Gaze Zone Classifier based on Frame-Sequence Recognition using 3D Convolutional Neural Networks2022

    • Author(s)
      Catherine Lollett, Mitsuhiro Kamezaki, and Shigeki Sugano
    • Journal Title

      Sensors

      Volume: 22 Pages: 1--16

    • DOI

      10.3390/s22155857

    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic Waypoint Navigation: Model-based Adaptive Trajectory Planner for Human-Symbiotic Mobile Robots2022

    • Author(s)
      Mitsuhiro Kamezaki, Ayano Kobayashi, Ryosuke Kono, Michiaki Hirayama, and Shigeki Sugano
    • Journal Title

      IEEE Access

      Volume: 10 Pages: 81546--81555

    • DOI

      10.1109/ACCESS.2022.3194146

    • Peer Reviewed / Open Access
  • [Journal Article] Development and Evaluation of a Backdrivable Vane-Type Rotary Actuator Using Magnetorheological Fluids2022

    • Author(s)
      Peizhi Zhang, Mitsuhiro Kamezaki, Kenshiro Otsuki, Shan He, Zhuoyi He, Gonzalo Aguirre Dominguez, and Shigeki Sugano
    • Journal Title

      IEEE Transactions on Mechatronics

      Volume: 27 Pages: 4863--4873

    • DOI

      10.1109/TMECH.2022.3167014

    • Peer Reviewed / Open Access
  • [Journal Article] A Robotic Grasping State Perception Framework With Multi-Phase Tactile Information and Ensemble Learning2022

    • Author(s)
      G. Yan, A. Schmitz, S. Funabashi, S. Somlor, T. P. Tomo and S. Sugano
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 6822--6829

    • DOI

      10.1109/LRA.2022.3151260

    • Peer Reviewed
  • [Journal Article] Reactive, Proactive, and Inducible Proximal Crowd Robot Navigation based on Inducible Social Force Model2022

    • Author(s)
      Mitsuhiro Kamezaki, Tsuburaya Yusuke Taichi Kanada, Michiaki Hirayama, and Shigeki Sugano
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 3922--3929

    • DOI

      10.1109/LRA.2022.3148451

    • Peer Reviewed
  • [Journal Article] Multi-Fingered In-Hand Manipulation With Various Object Properties Using Graph Convolutional Networks and Distributed Tactile Sensors2022

    • Author(s)
      Satoshi Funabashi, Tomoki Isobe, Fei Hongyi, Atsumu Hiramoto, Alexander Schmitz, Shigeki Sugano, and Tetsuya Ogata
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 2102--2109

    • DOI

      10.1109/LRA.2022.3142417

    • Peer Reviewed
  • [Journal Article] Pitch-Up Motion Mechanism With Heat Welding by Soft Inflatable Growing Robot2022

    • Author(s)
      Yuki Satake, and Hiroyuki Ishii
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 5071-5078

    • DOI

      10.1109/LRA.2022.3153724

    • Peer Reviewed / Open Access
  • [Presentation] Skeleton recognition-based motion generation and user emotion evaluation with in-home rehabilitation assistive humanoid robot2022

    • Author(s)
      Tamon Miyake, Yushi Wang, Gang Yan and Shigeki Sugano
    • Organizer
      2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids)
    • Int'l Joint Research
  • [Presentation] Position-based Treadmill Drive with Wire Traction for Experience of Level Ground Walking from Gait Acceleration State to Steady State2022

    • Author(s)
      Tamon Miyake, Shunya Itano, Mitsuhiro Kamezaki, and Shigeki Sugano
    • Organizer
      2022 IEEE International Conference on Intelligent Robots and Systems (IROS2022)
    • Int'l Joint Research
  • [Presentation] Development of a Conveyor-Type Object Release Mechanism for a Parallel Gripper with a Mushroom-Shaped Gecko-Inspired Surface2022

    • Author(s)
      Shunsuke Nagahama, Atsusho Nakao and Shigeki Sugano
    • Organizer
      2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Int'l Joint Research
  • [Presentation] Preliminary Investigation of Collision Risk Assessment with Vision for Selecting Targets Paid Attention to by Mobile Robot2022

    • Author(s)
      Masaaki Hayashi, Tamon Miyake, Mitsuhiro Kamezakii, Junji Yamato, Kyosuke Saito, Taro Hamada, Eriko Sakurai, Shigeki Sugano, and Jun Ohya
    • Organizer
      IEEE/RSJ IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2022)
    • Int'l Joint Research
  • [Presentation] Proposal of a Control Strategy Using Fuzzy Logic and Support Vector Classifier for MR Fluid Actuator with Variable Impedance Mechanism2022

    • Author(s)
      Yushi Wang, Mitsuhiro Kamezaki, Shan He, Ryuichiro Tsunoda, Peizhi Zhang, and Shigeki Sugano
    • Organizer
      2022 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM 2022)
    • Int'l Joint Research
  • [Presentation] 3-Axis Force Estimation of a Soft Skin Sensor using Permanent Magnetic Elastomer (PME) Sheet with Strong Remanence2022

    • Author(s)
      Yushi Wang, Mitsuhiro Kamezaki, Qichen Wang, Hiroyuki Sakamoto, Shigeki Sugano
    • Organizer
      2022 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM 2022)
    • Int'l Joint Research
  • [Presentation] Driver's Drowsiness Classifier using a Single-Camera Robust to Mask-wearing Situations using an Eyelid, Lower-Face Contour, and Chest Movement Feature Vector GRU-based Model2022

    • Author(s)
      Catherine Lollett, Mitsuhiro Kamezaki, and Shigeki Sugano
    • Organizer
      IEEE Intelligent Vehicles Symposium (IV 2022)
    • Int'l Joint Research
  • [Presentation] Detection of Slip from Vision and Touch2022

    • Author(s)
      Gang Yan, Alexander Schmitz, Tito Pradhono Tomo, Sophon Somlor, Satoshi Funabashi and Shigeki Sugano
    • Organizer
      2022 International Conference on Robotics and Automation (ICRA)
    • Int'l Joint Research
  • [Presentation] 複数のねじれ紐式アクチュエータを備えた分散協調駆動機構における駆動順序・駆動時間差が荷重分散比率に与える影響の調査2022

    • Author(s)
      長濱峻介,佐藤充希,菅野重樹
    • Organizer
      第23回計測自動制御学会システムインテグレーション部門講演会論文集(SI2022)
  • [Presentation] 筋電図変化に基づく最小リハビリ負荷印加装置の開発2022

    • Author(s)
      三宅太文,伊藤寛将,岡村尚美,藤江正克,菅野重樹
    • Organizer
      第23回計測自動制御学会システムインテグレーション部門講演会論文集(SI2022)
  • [Presentation] 伸縮性を有する3軸触力覚センサuSkinの開発2022

    • Author(s)
      高瀬祥,Tito Pradhono, Tomo,Somlor Sophon,Alexander Schmitz,菅野重樹
    • Organizer
      第23回計測自動制御学会システムインテグレーション部門講演会論文集(SI2022)
  • [Presentation] GCNと分布型触覚センサを用いた様々な物体に対する多指ロボットハンドによる操り動作の実現2022

    • Author(s)
      船橋賢,磯部智喜,Hongyi Fei,平本温夢,Alexander Schmitz,菅野重樹,尾形哲也
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] 永久磁石エラストマーシートを用いたロボットスキンセンサの試製”,2022

    • Author(s)
      王啓臣,王語詩,亀﨑允啓,坂本裕之,菅野重樹
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] 待機・迂回を含む後退的行動と接近・接触を含む前進的行動を併せ持つ自律移動ロボットの統合的軌道計画2022

    • Author(s)
      今治諭志,亀﨑允啓,金田太智,濱田太郎,斎藤喬介,櫻井絵梨子,菅野重樹
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] 人存在領域推定に基づく動的制限空間による人-ロボット協調安全システムの提案2022

    • Author(s)
      亀﨑允啓,山口皓大,和田智博,菅野重樹
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] 料理ロボットのための注意機構を用いたリアルタイム能動知覚モデル-食材の特徴に応じた料理のかき混ぜ動作の実現-2022

    • Author(s)
      平本万結,斎藤菜美子,尾形哲也,菅野重樹
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] 運転者の生体・行動・主観指標を用いた運転負担推定に関する研究~半教師あり学習による識別モデルの高精度化~2022

    • Author(s)
      岩崎陽馬,亀﨑允啓,江馬敬明,岡直樹,マナワドゥ ウダーラ,菅野重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2022論文集(Robomech’22)
  • [Presentation] 運動モデルを考慮した狭隘空間における対向二輪型モビリティの軌道計画~後進・切り返し・事前幅寄せの利用~2022

    • Author(s)
      葛西優介,亀﨑允啓,松繁怜,菅野重樹
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2022論文集(Robomech’22)
  • [Presentation] Implementation of Intrinsic Safety Function on A Collaborative Robot with Series Clutch Actuators by Adjustable Torque Limiters2022

    • Author(s)
      Yuchen Yang, Alexander Schmitz, Yuta Kage, Muhammad Arifin, Shigeki Sugano
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2022論文集(Robomech’22)
  • [Presentation] 幼児の発達を支援する連続跳躍可能なボール形ロボットの開発2022

    • Author(s)
      山後勇斗,石井裕之
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] 幼児の遊戯を促すソフト飛行ロボットの開発2022

    • Author(s)
      紫藤寛生,石井裕之
    • Organizer
      第40回日本ロボット学会学術講演会論文集(RSJ2022)
  • [Presentation] ソフト飛行ロボットを用いた人間と機械のインタラクションの新形態の提案2022

    • Author(s)
      紫藤寛生,石井裕之
    • Organizer
      共創学会第6回年次大会
  • [Presentation] Design of a Soft Rat Robot Based on Pneumatic Actuator2022

    • Author(s)
      Li Yuanzhong; Atsuo Takanishi; Hiroyuki Ishii
    • Organizer
      2022 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM 2022)
    • Int'l Joint Research

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi