• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Pioneering Near-Zero Latency Tele-Existence with Future Prediction Technology

Research Project

Project/Area Number 21H03409
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60040:Computer system-related
Research InstitutionKyoto University

Principal Investigator

Awano Hiromitsu  京都大学, 情報学研究科, 准教授 (10799448)

Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2021: ¥7,540,000 (Direct Cost: ¥5,800,000、Indirect Cost: ¥1,740,000)
Keywords知能ロボット / 推論の不確実性 / 模倣学習 / 遠隔操作ロボット / 共有制御 / シェアードコントロール / テレイグジスタンス / 未来予測 / エッジコンピューティング / ロボット / 協調制御 / 力触覚ガイダンス / ハードウェアアクセラレータ
Outline of Research at the Start

本研究では五感からもたらされる情報の8割以上を占めるとされる視覚の予測合成に焦点を当て、未来予測技術を組み込んだテレイグジスタンスシステム構築を通して、通信レイテンシが存在しても操作者の現実感を高められることを実証する。具体的には、(a)ロボットから伝送された映像と操縦者の操作を元に、通信遅延・不確実性を加味した近未来の映像を合成するマルチモーダル敵対的生成ネットワーク(GAN)、(b)マルチモーダルGANのリアルタイム動作を可能にするハードウェアアクセラレータ、(c) (a-b)を組み込んだシステムを開発し、物体操作タスクを例に、疑似ゼロレイテンシ・テレイグジスタンスの有効性を実証する。

Outline of Final Research Achievements

To enhance the usability of remote-controlled robots, a system was engineered that employs machine learning to anticipate sensory data and operator intentions. The system adjusts the strength of the guidance it provides to the user dynamically, based on the AI’s level of “confidence” in its predictions, thus ensuring the guidance feels natural and does not obstruct the user’s actions. The system is composed of an upper-body humanoid robot, a force-sensing device, and a neural network trained to mimic human actions. Experimental results demonstrated that by incorporating uncertainty into the guidance, the time taken to fold a towel could be reduced by 16.2%.

Academic Significance and Societal Importance of the Research Achievements

学術的意義:AIの推論結果に対する"自信"に応じて人に提示する操作ガイダンスの強度を動的に変化させる枠組みを構築・有効性を実証したこと。
社会的意義:遠隔操作ロボットが必要とされる多くの分野において、その操作性・効率性改善に向けた方策を示したこと。また柔軟物操作というロボットにとってはチャレンジングなタスクでタスク遂行時間を有意に削減できることを実証したこと。

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (11 results)

All 2023 2022

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (9 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Uncertainty-Aware Haptic Shared Control With Humanoid Robots for Flexible Object Manipulation2023

    • Author(s)
      Hara Takumi、Sato Takashi、Ogata Tetsuya、Awano Hiromitsu
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 8 Issue: 10 Pages: 6435-6442

    • DOI

      10.1109/lra.2023.3306668

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Pay Attention via Quantization: Enhancing Explainability of Neural Networks via Quantized Activation2023

    • Author(s)
      Yuma Tashiro, Hiromitsu Awano
    • Journal Title

      IEEE Access

      Volume: - Pages: 34431-34439

    • DOI

      10.1109/access.2023.3264855

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] ヘブ則に基づく動的重み調整手法を利用したスパイキングニューラルネットワークの低レイテンシ・低消費エネルギ推論2023

    • Author(s)
      羽原丈博, 佐藤高史, 粟野皓光
    • Organizer
      情報処理学会DAシンポジウム2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] Preventing Undesired Guidance in Haptic Shared Control Using Neural Networks through Loss Function Adjustment2023

    • Author(s)
      Takumi Hara, Takashi Sato, Hiromitsu Awano
    • Organizer
      Workshop on Formal methods techniques in robotics systems: Design and control at IROS2023
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 柔軟物操作ロボットのための量子化ニューラル ネットワークを用いたハプティック共有制御2023

    • Author(s)
      原拓己, 佐藤高史, 粟野皓光
    • Organizer
      第41回日本ロボット学会学術講演会(RSJ2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 適応的閾値制御に基づくスパイキングニューラルネットワークの推論エネルギー削減2022

    • Author(s)
      羽原丈博, 佐藤高史, 粟野皓光
    • Organizer
      情報処理学会DAシンポジウム2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 8T-SRAMを用いた同時2入力対応な2値化ニューラルネットワーク用インメモリアクセラレータ2022

    • Author(s)
      田形寛斗, 佐藤高史, 粟野皓光
    • Organizer
      情報処理学会DAシンポジウム2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] スパイキングニューラルネットワークの高速低エネルギー推論に向けた動的閾値調整手法2022

    • Author(s)
      羽原丈博, 粟野皓光
    • Organizer
      電子情報通信学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 8T-SRAMを用いた高スループットな2値化ニューラルネットワーク用インメモリアクセラレータ2022

    • Author(s)
      田形寛斗, 粟野皓光
    • Organizer
      電子情報通信学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 遠隔ロボットによる円滑な柔軟物操作のための力触覚ガイドつき制御システム2022

    • Author(s)
      飯田智子, 粟野皓光
    • Organizer
      電子情報通信学会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Pay Attention via Binarization: Enhancing Explainability of Neural Networks via Binarization of Activation2022

    • Author(s)
      Yuma Tashiro, Hiromitsu Awano
    • Organizer
      IEEE International Symposium on Circuits and Systems
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi