• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Visual servo control by multi-eye high-speed vision network placed on robot body surface

Research Project

Project/Area Number 19H02102
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 20020:Robotics and intelligent system-related
Research InstitutionChiba University

Principal Investigator

NAMIKI AKio  千葉大学, 大学院工学研究院, 教授 (40376611)

Co-Investigator(Kenkyū-buntansha) 妹尾 拓  広島大学, 先進理工系科学研究科(工), 准教授 (10512113)
山川 雄司  東京大学, 大学院情報学環・学際情報学府, 准教授 (90624940)
Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2021: ¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2020: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2019: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Keywords高速ビジョン / 視覚サーボ制御 / 高速マニピュレーション / 多眼ビジョン / ビジョンネットワーク / 視覚サーボ / ネットワーク
Outline of Research at the Start

従来の知能ロボットでは,使用するカメラ台数は少数に抑えられ,設置場所も人間のように頭部に装着するか,ハンドアイとして手先に装着するかのどちらかであり,視界は狭く,オクルージョンによる死角が頻繁に生じるという問題があった。そのため,複雑なタスクでは成功率が上がらず,作業速度も人間以上に遅くなっていた。
本課題ではこの問題を解決するために,小型高速カメラをロボットの体表に高密度で配置することで,「無死角性」と「高速性」を実現する多眼高速ビジョンネットワークシステムを実現する。

Outline of Final Research Achievements

Conventional intelligent robots used only a small number of cameras, and the cameras were placed either on the head like humans or on the hand tips as hand-eye, resulting in a narrow field of view and many blind spots due to occlusion. As a result, the success rate of complex tasks do not increase, and work speed is also slower than that of humans. To solve this problem, in this project, a multi-eye high-speed vision network system with "no blind spots" and "high speed recognition" is realized by densely arranging small high-speed cameras on the robot's body surface.

Academic Significance and Societal Importance of the Research Achievements

本課題では,ロボット体表面に多数の小型カメラを配置し,ロボット周辺の認識の死角をなくすという多眼ビジョンロボットのシステム構成手法とその有効性について検証した.
近年の,小型カメラや小型画像処理装置の普及,低価格化は多数のカメラを使用することを容易とし,ロボットの多眼化に適した状況となっている.多眼視覚ロボットの計測戦略は,人間のそれとは大きく異なるが,高速性が求められるロボット固有の事情に適合しており,ロボットの動作性能の飛躍的な向上につながることが期待される.

Report

(4 results)
  • 2022 Final Research Report ( PDF )
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • Research Products

    (48 results)

All 2021 2020 2019 Other

All Journal Article (10 results) (of which Peer Reviewed: 10 results,  Open Access: 3 results) Presentation (35 results) (of which Int'l Joint Research: 6 results) Remarks (3 results)

  • [Journal Article] Real-Time Visual Feedback Control of Multi-Camera UAV2021

    • Author(s)
      He Dongqing、Chuang Hsiu-Min、Chen Jinyu、Li Jinwei、Namiki Akio
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 33 Issue: 2 Pages: 263-273

    • DOI

      10.20965/jrm.2021.p0263

    • NAID

      130008027691

    • ISSN
      0915-3942, 1883-8049
    • Year and Date
      2021-04-20
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Articulated Object Tracking by High-Speed Monocular RGB Camera2021

    • Author(s)
      Liu Yang、Namiki Akio
    • Journal Title

      IEEE Sensors Journal

      Volume: 21 Issue: 10 Pages: 11899-11915

    • DOI

      10.1109/jsen.2020.3032059

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Origami Folding by Multifingered Hands with Motion Primitives2021

    • Author(s)
      Namiki Akio、Yokosawa Shuichi
    • Journal Title

      Cyborg and Bionic Systems

      Volume: 2021 Pages: 9851834-9851834

    • DOI

      10.34133/2021/9851834

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic Compensation in Throwing Motion with High-Speed Robot Hand-Arm2021

    • Author(s)
      Takahashi Akira、Sato Masaki、Namiki Akio
    • Journal Title

      Prof. 2021 IEEE Int. Conf. on Robotics and Automation

      Volume: - Pages: 6287-6292

    • DOI

      10.1109/icra48506.2021.9560866

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Motion Strategy Using Opponent Player’s Serial Learning for Air-Hockey Robots2021

    • Author(s)
      Fukuda Shotaro、Tadokoro Koichiro、Namiki Akio
    • Journal Title

      Proc. 2021 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems

      Volume: - Pages: 952-957

    • DOI

      10.1109/iros51168.2021.9635854

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Target Tracking of Moving and Rotating Object byHigh-Speed Monocular Active Vision2020

    • Author(s)
      Yang Liu, Pansiyu Sun, and Akio Namiki
    • Journal Title

      IEEE Sensors Journal

      Volume: - Issue: 12 Pages: 1-18

    • DOI

      10.1109/jsen.2020.2976202

    • Related Report
      2020 Annual Research Report 2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] High-Speed Catching by Multi-Vision Robot Hand2020

    • Author(s)
      Sato Masaki、Takahashi Akira、Namiki Akio
    • Journal Title

      Proc. of 2020 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems

      Volume: 1 Pages: 9131-9136

    • DOI

      10.1109/iros45743.2020.9340968

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Direct Visual Servoing of UAVs Using Onboard Monocular Camera2020

    • Author(s)
      Hsiu-Min Chuang and Akio Namiki
    • Journal Title

      Proccedings of 2020 IEEE/SICE International Symposium on System Integration (SII 2020)

      Volume: - Pages: 765-770

    • DOI

      10.1109/sii46433.2020.9026180

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] High-Speed Target Tracking of 3D Object by Monocular Camera2020

    • Author(s)
      Yang Li and Akio NAMIKI
    • Journal Title

      Proccedings of 2020 IEEE/SICE International Symposium on System Integration (SII 2020)

      Volume: - Pages: 121-126

    • DOI

      10.1109/sii46433.2020.9026194

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Autonomous Target Tracking of UAV Using High-Speed Visual Feedback2019

    • Author(s)
      Hsiu-Min Chuang, Dongqing He, and Akio Namiki
    • Journal Title

      Applied Sciences

      Volume: 9(21) Issue: 21 Pages: 4552-4552

    • DOI

      10.3390/app9214552

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] エアホッケーロボットにおけるスナップを利かせるための手首関節の開発2021

    • Author(s)
      田所恒一郎, 並木 明夫
    • Organizer
      第22回計測自動制御学会SI部門講演会(SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] ガウス過程回帰と軌道生成による人間の動作予測手法,2021

    • Author(s)
      中原海渡, 並木明夫
    • Organizer
      第22回計測自動制御学会SI部門講演会(SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Real-Time UAV navigation and occlusion detection system with multi-camera2021

    • Author(s)
      Chen Jinyu, Namiki Akio
    • Organizer
      第22回計測自動制御学会SI部門講演会(SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] UAV control system design for high-speed vision servo2021

    • Author(s)
      LI JINWEI、Chuang Hsiu Min、Akio NAMIKI
    • Organizer
      第22回計測自動制御学会SI部門講演会(SI2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 把持特徴量に基づいた動作分類と遠隔制御への利用2021

    • Author(s)
      三枝 大希, 並木 明夫
    • Organizer
      日本機械学会年次大会2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] 折り紙ロボットのための紙の形状認識システムの開発,2021

    • Author(s)
      中村 亮裕, 山本 開, 並木 明夫
    • Organizer
      日本機械学会年次大会2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] 多眼視覚キャリブレーション2021

    • Author(s)
      佐藤 将貴, 並木 明夫
    • Organizer
      日本機械学会年次大会2021
    • Related Report
      2021 Annual Research Report
  • [Presentation] Model Predictive Trajectory Generation によるハンドアームの投球動作制御2021

    • Author(s)
      高橋 晃, 佐藤 将貴, 並木 明夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2021(ROBOMECH2021)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Motion Strategy Using Opponent Player's Serial Learning for Air-Hockey Robots2021

    • Author(s)
      Shotaro Fukuda, Koichiro Tadokoro, and Akio Namiki
    • Organizer
      2021 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Dynamic Compensation in Throwing Motion with High-Speed Robot Hand-Arm2021

    • Author(s)
      Akira Takahasi, Masaki Sato, and Akio Namiki
    • Organizer
      2021 IEEE Int. Conf. on Robotics and Automation
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 投球動作における高速多指ハンドアームの動的補償2021

    • Author(s)
      高橋 晃,佐藤 将貴,並木 明夫
    • Organizer
      第26回ロボティクスシンポジア講演論文集
    • Related Report
      2020 Annual Research Report
  • [Presentation] エアホッケーロボットにおける人の刺激系列学習を利用した動作戦略2021

    • Author(s)
      福田 翔太郎,田所 恒一郎,並木 明夫
    • Organizer
      第26回ロボティクスシンポジア講演論文集
    • Related Report
      2020 Annual Research Report
  • [Presentation] High-Speed Catching by Multi-Vision Robot Hand2020

    • Author(s)
      Masaki Sato, Akira Takahasi, and Akio Namiki
    • Organizer
      2020 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] モデル予測制御のマクロマイクロマニピュレーションへの適用2020

    • Author(s)
      高橋 晃,佐藤 将貴,並木 明夫
    • Organizer
      第8回 制御部門マルチシンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 次元圧縮による把持動作の特徴量抽出と遠隔制御への応用2020

    • Author(s)
      三枝 大希,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] ロボットハンドによる紙のたわみ生成戦略2020

    • Author(s)
      寺田 直人,中村 亮裕,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 投球動作における高速多指ハンドアームの動的補償2020

    • Author(s)
      高橋 晃,佐藤 将貴,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 多眼視覚キャリブレーション手法の提案2020

    • Author(s)
      佐藤 将貴,高橋 晃,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 折り目を考慮した紙と物理モデルの形状マッチング2020

    • Author(s)
      中村 亮裕,寺田 直人,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] エアホッケーロボットにおける人の刺激系列学習を利用した戦略設計2020

    • Author(s)
      福田 翔太郎,田所 恒一郎,並木 明夫
    • Organizer
      SI2020(第21回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Energy Minimization Formulation of Articulated Object Tracking with High-speed Monocular Camera2020

    • Author(s)
      Yang Liu and Akio Namiki
    • Organizer
      第38回日本ロボット学会学術講演会予稿集
    • Related Report
      2020 Annual Research Report
  • [Presentation] Real-time Visual Servoing Control of an UAV Having Two-Cameras2020

    • Author(s)
      Dongqing He, Hsiu-Min Chuang, and Akio Namiki
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] エアホッケーロボットシステムにおけるマスタ・スレーブ制御と視覚提示の適用2020

    • Author(s)
      王ゲツ, 福田翔太郎, 松坂彩香, 劉楊, 並木明夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 多眼高速ビジョンを備えたロボットハンドによる高速キャッチング2020

    • Author(s)
      佐藤将貴、高橋 晃、並木 明夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] マスタ・スレーブのための次元圧縮を利用した把持動作補助システム2020

    • Author(s)
      三枝 大希, 白土 拓哉, 並木 明夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] RGB-D センサを用いた紙と物理モデルの形状マッチング2020

    • Author(s)
      中村 亮裕, 寺田 直人, 並木 明夫
    • Organizer
      日本機械学会ロボティクス・メカトロニクス講演会2020(ROBOMECH2020)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Direct Visual Servoing of UAVs Using Onboard Monocular Camera2020

    • Author(s)
      Hsiu-Min Chuang and Akio Namiki
    • Organizer
      2020 IEEE/SICE International Symposium on System Integration (SII 2020)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] High-Speed Target Tracking of 3D Object by Monocular Camera2020

    • Author(s)
      Yang Li and Akio NAMIKI
    • Organizer
      2020 IEEE/SICE International Symposium on System Integration (SII 2020)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] エアホッケーロボットにおける対戦者の運動学的制約を考慮した攻撃評価2020

    • Author(s)
      金子昌也, 福田翔太郎, 並木明夫
    • Organizer
      第25回ロボティクスシンポジア講演論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] 異種カメラとカルマンフィルタリングによる高解像度・高フレームレートのオプティカルフローの生成2020

    • Author(s)
      永井知明, 並木明夫
    • Organizer
      第25回ロボティクスシンポジア講演論文集
    • Related Report
      2019 Annual Research Report
  • [Presentation] Target Tracking of Moving and Rotating Object by High-Speed Monocular Active Vision2019

    • Author(s)
      Yang Li and Akio NAMIKI
    • Organizer
      2019 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 多眼高速視覚を備えたロボットハンドによる視覚フィードバック制御2019

    • Author(s)
      佐藤将貴、高橋 晃、並木 明夫
    • Organizer
      SI2019(第20回計測自動制御学会システムインテグレーション部門講演会)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 高速双腕ジャグリングロボットにおける最適軌道生成2019

    • Author(s)
      高橋 晃,甲村 直大,並木 明夫
    • Organizer
      第37回日本ロボット学会学術講演会予稿集
    • Related Report
      2019 Annual Research Report
  • [Presentation] マスタスレーブを用いたロボットハンドの折り紙動作生成2019

    • Author(s)
      寺田 直人,末石 悟,並木 明夫
    • Organizer
      第37回日本ロボット学会学術講演会予稿集
    • Related Report
      2019 Annual Research Report
  • [Presentation] エアホッケーロボットにおける動作パターンの生成2019

    • Author(s)
      福田 翔太郎,金子 昌也,並木 明夫
    • Organizer
      第37回日本ロボット学会学術講演会予稿集
    • Related Report
      2019 Annual Research Report
  • [Remarks] Namiki Laboratory

    • URL

      https://www.em.eng.chiba-u.jp/~namiki/

    • Related Report
      2021 Annual Research Report
  • [Remarks] Namiki Laboratory Homepage

    • URL

      http://www.em.eng.chiba-u.jp/~namiki/

    • Related Report
      2020 Annual Research Report
  • [Remarks] Namiki Laboratory

    • URL

      http://www.em.eng.chiba-u.jp/~namiki/

    • Related Report
      2019 Annual Research Report

URL: 

Published: 2019-04-18   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi