Control and estimation of weld pool in visual robotic welding using deep learning
| Project/Area Number |
19K05076
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 26050:Material processing and microstructure control-related
|
|---|
| Research Institution | Saitama University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 溶融池観察 / 深層学習 / GMA溶接 / プラズマアーク溶接 / 画像処理 / Resnet50 / セマンティック・セグメンテーション / 溶接線倣い制御 / 適応制御 / 溶接ロボット / 溶接条件制御 / 畳み込みニューラルネットワーク / セグメンテーション / CMOSカメラ / 分光測定 / パルスマグ溶接 / 溶融池画像 / パルス電流 / 裏ビード形状 / 畳込みニューラルネットワーク / オンライン推定 / 溶込み深さ推定 / CMOS カメラ / プラズマ溶接 / 画像認識 / 干渉フィルタ / 溶接溶融池 / ビジュアルセンサ / 溶込み制御 |
|---|
| Outline of Research at the Start |
本研究では
１）アーク現象に関わるアーク光・溶融池の分光特性、および視覚センサの特性に適合した撮影方法の確立
２）溶融状態と溶融池溶込み状態の推定方法の確立
３）熟練者の知識・経験を活用した制御方法を構築
について検討を行う。これを行うために、視覚情報の識別に強い深層学習（多層ニューラルネットワーク）を用いて、溶融状態を推定する。この出力を用いて溶接システムをリアルタイム制御する。また、溶接中のセンサ情報からリアルタイム品質判断技術も確立する。
|
| Outline of Final Research Achievements |
Deep learning was applied to estimate the molten pool condition in a welding system. In order to do this, it is important to capture clear images of the molten pool. Therefore, we clarified good conditions for capturing images of the molten pool by considering the characteristics of visual sensors and the spectral characteristics of the arc and molten pool. Using this method, the molten pool image was used as an input to Resnet50, a deep learning system, to estimate the molten state of the root of the groove for V-gap welding with gap variation. The boundary between the molten and unmolten areas was estimated from the molten pool image using semantic segmentation, and this was applied to weld line imitation control.
|
| Academic Significance and Societal Importance of the Research Achievements |
画像を入力する深層学習により、状態推定を行う場合、深層学習の推定性能は画像の前処理に依存することを示し、特徴抽出の画像処理方法を示した。また、溶接状態を数値化して推定する場合、教師ありの深層学習を適用すると、多数の画像データおよび、それに対応する教師データ（数値データ）を用意する必要がある。これには、多大なる時間と労力が必要となる。しかし、分類を行う場合は、数値推定より時間がかからないとともに、学習時間を短縮化できる。さらに、深層学習の分類出力から数値データを得るための方法を示した。これらの方法はビックデータを深層学習により処理する場合にも適用できる。
|
Report
(4 results)
Research Products
(10 results)
