• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

Delicate and flexible support by humans to remote robots with force feedback

Research Project

Project/Area Number 21K11865
Research InstitutionNagoya Institute of Technology

Principal Investigator

石橋 豊  名古屋工業大学, 工学(系)研究科(研究院), 教授 (40252308)

Co-Investigator(Kenkyū-buntansha) 三好 孝典  長岡技術科学大学, 技術経営研究科, 教授 (10345952)
黄 平国  岐阜聖徳学園大学, 経済情報学部, 准教授 (60713154)
大西 仁  放送大学, 教養学部, 教授 (40280549)
奥田 隆史  愛知県立大学, 情報科学部, 教授 (20204125)
渡邉 均  東京理科大学, 工学部情報工学科, 教授 (20439920)
Project Period (FY) 2021-04-01 – 2024-03-31
Keywords遠隔ロボット支援 / 力覚フィードバック / QoS制御 / 安定化制御 / AI技術
Outline of Annual Research Achievements

一人の利用者が触覚デバイスを用いて、力覚センサを有する遠隔の産業用ロボットの動作をビデオで見ながら、そのロボットアームを操作するシステムを一つ用いて、人と一緒に一つの物体を運ぶ作業と、二つのシステムを用いてロボットアーム間で物体を運ぶ作業を扱った。そして、物体に加わる力やロボットの位置情報などを測定して、人とロボットの比較を行った。その結果、人の方が柔軟で繊細であることが定量的に明らかとなった。これを改善し、物体の長さや太さなどに応じて物体に加わる力を軽減するため、AI技術としてニューラルネットワークを用いたが、実験によって処理時間が約60msかかることが明らかとなった。そこで、高性能なワークステーションを購入するとともに、ニューラルネットワーク処理の高速化プログラムを開発した。これによって、従来の速度から、60倍程度の高速化を達成した。
また、二つのシステムを使用する場合には、二人の利用者間の協調のため、触覚デバイスの操作性を向上する粘弾性の適応制御を実装して、その効果を確認した。この制御は、ネットワーク遅延や触覚デバイスの操作速度に応じて、粘弾性係数を動的に変更するものである。さらに、ロボット間の協調のために、時空間同期を実現する適応型Δ因果順序制御を適用し、その有効性を示した。これらによって、利用者-ロボット間だけでなく、ロボット間、利用者間の協調の高品質化・高安定化を図ることができた。この他、触覚デバイスに力覚センサを付与して、更なる安定化を実現する研究を新たに開始した。
さらに、移動ロボットを考慮した研究を開始した。凸凹した道を移動しながら、協調作業を行えるように、急激な位置変化に対して、力覚センサの値を利用して自動的にロボットアームの位置を変更する制御を拡張した。この拡張では、距離と時間に関する公式と運動方程式を利用してロボットアームの位置を調整するようにした。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

AI技術を適用してロボットの動作を人以上に柔軟かつ繊細化する研究の準備ができた段階であるため、この研究の進捗がやや遅れていることになる。これは。ニューラルネットワーク処理の高速化に時間を要したためである。しかし、2022年度に研究を開始する予定であった移動ロボットを考慮した研究を開始し、力覚センサの値を利用して自動的にロボットアームの位置を変更する制御を拡張することができたので、大きな進展が得られた。
システムの安定化制御に関しては、ロボット間で時空間同期を行う制御(適応型Δ因果順序制御)、利用者-ロボット間でフィルタを用いた安定化制御、利用者間で粘弾性の適応制御を行うことで、ネットワーク遅延に対する安定化を大きく改善することができた。また、触覚デバイスに力覚センサを新たに付与して、マルチラテラル制御の安定化を目指す研究を開始した。したがって、全体的に見れば、おおむね順調に進展していると言える。

Strategy for Future Research Activity

AI技術によってロボットの動作を人以上に柔軟かつ繊細化する研究の準備ができたので、この研究を加速するため、研究分担者の大西と奥田の協力を得て、彼らが有する強化学習と機械学習の技術を研究に利用する。また、三好とは、触覚デバイスに力覚センサを付与してマルチラテラル制御の更なる安定化を図る。さらに、黄や渡邉とも日頃の連絡をさらに蜜に行い、多くの研究成果が得られるように工夫していく予定である。

Causes of Carryover

(理由)学会参加について別の予算から充当するなど、旅費・参加費の支出が想定よりも減少したため。
(使用計画)おもに今までに得られた成果の発表のための費用(旅費、参加費、投稿費)に利用する予定である。

  • Research Products

    (37 results)

All 2022 2021 Other

All Int'l Joint Research (2 results) Journal Article (5 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 5 results,  Open Access: 5 results) Presentation (28 results) (of which Int'l Joint Research: 18 results,  Invited: 3 results) Book (1 results) Remarks (1 results)

  • [Int'l Joint Research] University of Macedonia/University of Western Macedonia(ギリシャ)

    • Country Name
      GREECE
    • Counterpart Institution
      University of Macedonia/University of Western Macedonia
  • [Int'l Joint Research] University of Computer Studies, Yangon(ミャンマー)

    • Country Name
      MYANMAR
    • Counterpart Institution
      University of Computer Studies, Yangon
  • [Journal Article] Effects of local and global adaptive Δ-causality control on cooperative work between remote robot systems with force feedback2022

    • Author(s)
      N. A. Hameedha, Y. Ishibashi
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 10 Pages: 1~7

    • DOI

      10.3169/mta.10.1

    • Peer Reviewed / Open Access
  • [Journal Article] Influence of local lag on human perception of softness in networked virtual environment with haptic sense2022

    • Author(s)
      M. Z. Oo, Y. Ishibashi, K. T. Mya
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 10 Pages: 18,25

    • DOI

      10.3169/mta.10.18

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Human perception of group synchronization error in remote learning: Dependencies of voice and video contents in one-way communication2022

    • Author(s)
      H. M. Mo Mo. Lwin, Y. Ishibashi, K. T. Mya
    • Journal Title

      International Journal of Communications, Network and System Sciences

      Volume: 15 Pages: 31,42

    • DOI

      10.4236/ijcns.2022.153003

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Improvement of haptic QoE on ball-hitting task for bilateral tele-operation system2021

    • Author(s)
      T. Miyoshi, S. Ishikawa, K. Kanaishi, P. Huang, Y. Ishibashi
    • Journal Title

      International Journal of Mechanical Engineering and Robotics Research

      Volume: 10 Pages: 660,667

    • DOI

      10.18178/ijmerr.10.12.660-667

    • Peer Reviewed / Open Access
  • [Journal Article] Evaluation of realistic sensation using biological reaction measurements for food videos presented by KMMD2021

    • Author(s)
      K. Tomono, Y. Ishibashi, A. Tomono
    • Journal Title

      MDPI Sensors

      Volume: 21 Pages: 1,18

    • DOI

      10.3390/s21227670

    • Peer Reviewed / Open Access
  • [Presentation] Human perception of curved surface with haptics for networked virtual environments2022

    • Author(s)
      A. T. Christian, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      IEICE General Conference
  • [Presentation] 通信遅延下における力覚通信の安定性及び操作性向上の検討: 予測反力フィードバックの効果2022

    • Author(s)
      渡邉均, 井上大暉, 黄平国, 石橋豊
    • Organizer
      電子情報通信学会コミュニケーションクオリティ研究会
  • [Presentation] Effects of adaptive viscoelasticity control on cooperative work in remote robot systems with force feedback2022

    • Author(s)
      R. Ye, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      電子情報通信学会コミュニケーションクオリティ研究会
  • [Presentation] Enhanced abilities of humans and robots with force feedback2021

    • Author(s)
      Y. Ishibashi
    • Organizer
      The 2nd International Conference on Electronics, Communications and Information Technology
    • Int'l Joint Research / Invited
  • [Presentation] QoE assessment of angle perception with haptics for networked virtual environments2021

    • Author(s)
      J. Ma, Y. Ishibashi, P. Huang, Y. Tateiwa, K. E. Psannis
    • Organizer
      The 2nd International Conference on Electronics, Communications and Information Technology
    • Int'l Joint Research
  • [Presentation] Comparison of collaboration methods between users in remote robot systems with force feedback2021

    • Author(s)
      R. Ye, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      The 7th International Conference on Computer and Communications
    • Int'l Joint Research
  • [Presentation] Optimising decision making on communication systems: The federated learning approach2021

    • Author(s)
      K. Stergiou, K. Psannis, M. Roumeliotis, G. Kokkonis, Y. Ishibashi
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Efficient integration of XR with haptic feedback and 5G networks2021

    • Author(s)
      G. Minopoulos, K. E. Psannis, S. Goudos, S. Nikolaidid, G. Kokkonis, Y. Ishibashi
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Efficient big data delivery over IoT networks2021

    • Author(s)
      A. Plageras, K. E. Psannis, G. Kokkonis, Y. Ishibashi
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Artificial Intelligence ANTi-Attack System (AIANTAS) for IoT cyberspace: An upcoming cloud-based security architecture for police authorities2021

    • Author(s)
      V. A. Memos, K. E. Psannis, Y. Ishibashi
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Protecting minors' personal data in IoT-based smart homes according to GDPR2021

    • Author(s)
      S. Rizou, E. Alexandropoulou-Egyptiadou, Y. Ishibashi, K. E. Psannis
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Communication and security issues in online learning during the COVID-19 pandemic2021

    • Author(s)
      C. Metallidou, K. E. Psannis, S. Goudos, P. Sarigiannidis, Y. Ishibashi
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Effect of neural network on robot position control using force information2021

    • Author(s)
      Y. Zhang, P. Huang, Y. Ishibashi, T. Okuda, K. E. Psannis
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Enhanced robot position control using force information for mobile robots: Influences of obstacles on cooperative work2021

    • Author(s)
      Y. Ishibashi, P. Huang, K. E. Psannis
    • Organizer
      IEEE 9th International Conference on Information, Communication and Networks
    • Int'l Joint Research
  • [Presentation] Toward the optimal control of haptic communication: Introduction of force prediction to collaborative work2021

    • Author(s)
      H. Watanabe, Y. Sato, T. Hirano, P. Huang, Y. Ishibashi
    • Organizer
      IEEE International Conference on Consumer Electronics - Taiwan
    • Int'l Joint Research
  • [Presentation] Robot position control using force information by neural network in remote robot systems2021

    • Author(s)
      X. Wang, P. Huang, Y. Ishibashi, T. Okuda
    • Organizer
      IEEE International Conference on Consumer Electronics - Taiwan
    • Int'l Joint Research
  • [Presentation] QoE assessment of cooperative work in networked virtual environment with haptics2021

    • Author(s)
      K. Z. Win, Su T. Aung, Y. Ishibashi, K. T. Mya
    • Organizer
      IEEE International Conference on Consumer Electronics - Taiwan
    • Int'l Joint Research
  • [Presentation] Effect of position follow-up ontrol for hand delivery between remote robot systems with force feedback2021

    • Author(s)
      L. Li, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      IEEE International Conference on Consumer Electronics - Taiwan
    • Int'l Joint Research
  • [Presentation] Switching scheme between adaptive viscosity control and stabilization control by viscosity in remote control system with haptics2021

    • Author(s)
      L. Chen. L. Wen, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      The 3rd International Conference on Computer Communication and the Internet
    • Int'l Joint Research
  • [Presentation] Comparison of stabilization control for writing characters in remote robot system with force feedback2021

    • Author(s)
      R. Ye, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      The 3rd International Conference on Computer Communication and the Internet
    • Int'l Joint Research
  • [Presentation] QoE assessment of human perception of softness in networked haptic virtual environment2021

    • Author(s)
      M. Z. Oo, Y. Ishibashi, K. T. Mya
    • Organizer
      The 3rd International Conference on Computer Communication and the Internet
    • Int'l Joint Research
  • [Presentation] Collaboration between users with haptics in remote robot systems2021

    • Author(s)
      R. Ye, Y. Ishibashi, P. Huang, Y. Tateiwa
    • Organizer
      ITE Winter Annual Convention
  • [Presentation] 移動を考慮した遠隔ロボットシステムにおける力覚センサによるロボット位置修正の効果2021

    • Author(s)
      中川博詞, Li Luozhang, 石橋豊, 黄平国, 立岩佑一郎
    • Organizer
      ITE冬季大会
  • [Presentation] Influences of network delay and movement velocity under adaptive viscoelasticity with prediction2021

    • Author(s)
      L. Chen, Y. Ishibashi, P. Huang, Y. Tateiwa, H. Ohnishi
    • Organizer
      電子情報通信学会コミュニケーションクオリティ研究会
  • [Presentation] 触力覚通信の仕組みと高品質化2021

    • Author(s)
      石橋豊
    • Organizer
      IEEE LMAG Nagoya オンライン懇談会
    • Invited
  • [Presentation] 力情報を用いたロボット位置制御実験: 人とロボットとの比較2021

    • Author(s)
      伊藤誠志郎, 石橋豊, 黄平国, 立岩佑一郎
    • Organizer
      電気・電子・情報関係学会東海支部連合大会
  • [Presentation] 触力覚コミュニケーションクオリティ研究への期待2021

    • Author(s)
      石橋豊
    • Organizer
      電子情報通信学会コミュニケーションクオリティ(CQ)研究会設立30周年記念シンポジウム
    • Invited
  • [Presentation] 移動ロボットを考慮した力情報を用いたロボット位置制御の拡張2021

    • Author(s)
      金石和也, 中川博詞, 石橋豊, 黄平国, 立岩佑一郎
    • Organizer
      電子情報通信学会コミュニケーションクオリティ研究会
  • [Book] QoS control in remote robot operation with force feedback2021

    • Author(s)
      P. Huang, Y. Ishibashi
    • Total Pages
      13
    • Publisher
      IntechOpen, Robotics Software Design and Engineering
    • ISBN
      978-1-83969-292-5
  • [Remarks] 名古屋工業大学石橋研究室

    • URL

      http://nma.web.nitech.ac.jp/

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi