• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Control and estimation of weld pool in visual robotic welding using deep learning

Research Project

Project/Area Number 19K05076
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 26050:Material processing and microstructure control-related
Research InstitutionSaitama University

Principal Investigator

Yamane Satoshi  埼玉大学, 理工学研究科, 教授 (10191363)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords溶融池観察 / 深層学習 / GMA溶接 / プラズマアーク溶接 / 画像処理 / Resnet50 / セマンティック・セグメンテーション / 溶接線倣い制御 / 適応制御 / 溶接ロボット / 溶接条件制御 / 畳み込みニューラルネットワーク / セグメンテーション / CMOSカメラ / 分光測定 / パルスマグ溶接 / 溶融池画像 / パルス電流 / 裏ビード形状 / 畳込みニューラルネットワーク / オンライン推定 / 溶込み深さ推定 / CMOS カメラ / プラズマ溶接 / 画像認識 / 干渉フィルタ / 溶接溶融池 / ビジュアルセンサ / 溶込み制御
Outline of Research at the Start

本研究では
1)アーク現象に関わるアーク光・溶融池の分光特性、および視覚センサの特性に適合した撮影方法の確立
2)溶融状態と溶融池溶込み状態の推定方法の確立
3)熟練者の知識・経験を活用した制御方法を構築
について検討を行う。これを行うために、視覚情報の識別に強い深層学習(多層ニューラルネットワーク)を用いて、溶融状態を推定する。この出力を用いて溶接システムをリアルタイム制御する。また、溶接中のセンサ情報からリアルタイム品質判断技術も確立する。

Outline of Final Research Achievements

Deep learning was applied to estimate the molten pool condition in a welding system. In order to do this, it is important to capture clear images of the molten pool. Therefore, we clarified good conditions for capturing images of the molten pool by considering the characteristics of visual sensors and the spectral characteristics of the arc and molten pool. Using this method, the molten pool image was used as an input to Resnet50, a deep learning system, to estimate the molten state of the root of the groove for V-gap welding with gap variation. The boundary between the molten and unmolten areas was estimated from the molten pool image using semantic segmentation, and this was applied to weld line imitation control.

Academic Significance and Societal Importance of the Research Achievements

画像を入力する深層学習により、状態推定を行う場合、深層学習の推定性能は画像の前処理に依存することを示し、特徴抽出の画像処理方法を示した。また、溶接状態を数値化して推定する場合、教師ありの深層学習を適用すると、多数の画像データおよび、それに対応する教師データ(数値データ)を用意する必要がある。これには、多大なる時間と労力が必要となる。しかし、分類を行う場合は、数値推定より時間がかからないとともに、学習時間を短縮化できる。さらに、深層学習の分類出力から数値データを得るための方法を示した。これらの方法はビックデータを深層学習により処理する場合にも適用できる。

Report

(4 results)
  • 2021 Annual Research Report   Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (10 results)

All 2021 2020 2019

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 2 results) Presentation (5 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Estimation of Melting State at Groove Root in Pulsed MAG Welding Using Deep Learning2021

    • Author(s)
      山根 敏, 王 伝智, 張 格イ
    • Journal Title

      QUARTERLY JOURNAL OF THE JAPAN WELDING SOCIETY

      Volume: 39 Issue: 4 Pages: 322-333

    • DOI

      10.2207/qjjws.39.322

    • NAID

      130008136523

    • ISSN
      0288-4771, 2434-8252
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Tracking the Welding Line in Lap Welding Using Pattern Matching2020

    • Author(s)
      Yamane Satoshi
    • Journal Title

      ISIJ International

      Volume: 60 Issue: 8 Pages: 1752-1757

    • DOI

      10.2355/isijinternational.ISIJINT-2019-319

    • NAID

      130007888016

    • ISSN
      0915-1559, 1347-5460
    • Year and Date
      2020-08-15
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Adaptive Control by Convolutional Neural Network in Plasma Arc Welding System2020

    • Author(s)
      Yamane Satoshi、Matsuo Kouki
    • Journal Title

      ISIJ International

      Volume: 60 Issue: 5 Pages: 998-1005

    • DOI

      10.2355/isijinternational.ISIJINT-2019-306

    • NAID

      130007843548

    • ISSN
      0915-1559, 1347-5460
    • Year and Date
      2020-05-15
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Spectroscopic Measurement of the Arc and the Weld Pool in Robotic Welding2020

    • Author(s)
      KOMAYA Daiki、YAMANE Satoshi
    • Journal Title

      QUARTERLY JOURNAL OF THE JAPAN WELDING SOCIETY

      Volume: 38 Issue: 2 Pages: 59s-63s

    • DOI

      10.2207/qjjws.38.59s

    • NAID

      130007964254

    • ISSN
      0288-4771, 2434-8252
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Gap Detection Using Convolutional Neural Network and Adaptive Control in Robotic Plasma Welding2019

    • Author(s)
      Satoshi Yamane, Kouki Matsuo
    • Journal Title

      International Journal of Automation Technology

      Volume: 13 Issue: 6 Pages: 796-802

    • DOI

      10.20965/ijat.2019.p0796

    • NAID

      130007742698

    • ISSN
      1881-7629, 1883-8022
    • Year and Date
      2019-11-05
    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] GMA溶接における溶接溶融池への深層学習の適用2021

    • Author(s)
      張 格イ、王 伝智、李 寧、山根 敏
    • Organizer
      2021年度溶接学会春期全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] プラズマ溶接における溶接溶融池画像への深層学習の適用2021

    • Author(s)
      李 寧 , 王 伝智 , 張 格イ , 山根 敏
    • Organizer
      2021年度溶接学会春期全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 深層学習の溶接溶融池の画像処理への適用2020

    • Author(s)
      王伝智, 張格イ, 李寧, 山根 敏
    • Organizer
      溶接学会2020年秋季全国大会
    • Related Report
      2020 Research-status Report
  • [Presentation] pectroscopic Measurement of the Arc and the Weld Pool in Robotic Welding2019

    • Author(s)
      Daisuke, KOMAYA,Satoshi YAMANE
    • Organizer
      Visual-JW2019
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] 溶接溶融池における分光特性の測定2019

    • Author(s)
      山根 敏、駒谷 大樹
    • Organizer
      溶接学会溶接法研究委員会
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi