Control and estimation of weld pool in visual robotic welding using deep learning

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K05076
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 26050:Material processing and microstructure control-related
• Research Institution: Saitama University
• Principal Investigator: Yamane Satoshi 埼玉大学, 理工学研究科, 教授 (10191363)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 溶融池観察 / 深層学習 / GMA溶接 / プラズマアーク溶接 / 画像処理 / Resnet50 / セマンティック・セグメンテーション / 溶接線倣い制御

Outline of Final Research Achievements

Deep learning was applied to estimate the molten pool condition in a welding system. In order to do this, it is important to capture clear images of the molten pool. Therefore, we clarified good conditions for capturing images of the molten pool by considering the characteristics of visual sensors and the spectral characteristics of the arc and molten pool. Using this method, the molten pool image was used as an input to Resnet50, a deep learning system, to estimate the molten state of the root of the groove for V-gap welding with gap variation. The boundary between the molten and unmolten areas was estimated from the molten pool image using semantic segmentation, and this was applied to weld line imitation control.

Free Research Field

溶接工学、制御工学

Academic Significance and Societal Importance of the Research Achievements

画像を入力する深層学習により、状態推定を行う場合、深層学習の推定性能は画像の前処理に依存することを示し、特徴抽出の画像処理方法を示した。また、溶接状態を数値化して推定する場合、教師ありの深層学習を適用すると、多数の画像データおよび、それに対応する教師データ（数値データ）を用意する必要がある。これには、多大なる時間と労力が必要となる。しかし、分類を行う場合は、数値推定より時間がかからないとともに、学習時間を短縮化できる。さらに、深層学習の分類出力から数値データを得るための方法を示した。これらの方法はビックデータを深層学習により処理する場合にも適用できる。